Как проверить прогноз рынка: что показали исследования с 1933 года

Прогнозов рынка много, а проверяют их редко. Хотя проверять их начали почти сто лет назад.

Что показали проверки

1933 год. Альфред Коулз собрал прогнозы 24 финансовых изданий — больше 3 300 прогнозов движения рынка с января 1928 по июнь 1932 года. Для сравнения он сделал случайные «прогнозы»: даты и решения вытягивал из перетасованных карточек. Как группа издания отстали от среднего результата случайных прогнозов на 4 % в год. В той же работе — 16 финансовых сервисов и около 7 500 рекомендаций по акциям: в среднем на 1,43 % в год хуже, чем средняя акция.

1944 год. Коулз повторил проверку на 11 агентствах: 6 904 прогноза с 1928 по 1943 год. «Бычьих» среди них было 4 712, неопределённых — 1 107, «медвежьих» — 1 085, хотя на эти годы пришёлся и обвал 1929–1932 годов. В среднем прогнозы оказались лучше случайных на 0,2 % в год. У лучшего агентства — плюс 6 % в год к случайным прогнозам, у худшего — минус 5,6 %.

2013 год. Итамар Бен-Давид, Джон Грэм и Кэмпбелл Харви разобрали 13 346 прогнозов финансовых директоров средних и крупных американских компаний — 40 опросов с 2001 по 2011 год. Директора называли ожидаемую доходность индекса S&P 500 на год вперёд и диапазон, в который она, по их мнению, попадёт с вероятностью 80 %. Фактическая доходность попала в эти диапазоны только в 36 % случаев.

Для сравнения — синоптики. В США они давно дают прогноз вероятности осадков, и проверки показали, что такие прогнозы надёжны: заявленная вероятность совпадает с тем, как часто осадки потом выпадают. Значит, вероятностный прогноз проверить можно — и он может быть хорошим.

Без поспешных выводов

Из этих проверок не следует, что рынок предсказать невозможно в принципе. Они касаются конкретных групп и лет: изданий и агентств 1928–1943 годов, финансовых директоров 2001–2011 годов. И у отдельных прогнозистов результаты были лучше среднего.

Но и удачная серия у одного автора сама по себе мало что доказывает: чем больше прогнозистов, тем больше среди них случайно удачных серий. Поэтому важен не один удачный прогноз, а полный счёт.

Что из этого следует на практике

Любой прогноз — чужой или свой — можно проверить тремя вопросами.

1. Это вероятность или обещание? «Биткоин будет расти» не опровергнуть. «Вероятность роста за месяц — 60 %» можно сверить на серии таких прогнозов: сбылось ли примерно 6 из 10.
2. Что отменит сценарий? Если не названо событие, после которого прогноз снимается, его нельзя признать ошибочным.
3. Где записаны прошлые прогнозы — и сколько сбылось? Без записи в памяти остаются только попадания. Свой счёт по пяти разборам биткоина подряд, включая неудачные, мы выложили здесь 28 октября: https://smart-lab.ru/blog/1368006.php

Даже прогноз, который проходит все три вопроса, остаётся оценкой, а не гарантией.

Источники:
— Cowles A. Can Stock Market Forecasters Forecast? // Econometrica, 1933, vol. 1, no. 3.
— Cowles A. Stock Market Forecasting // Econometrica, 1944, vol. 12, no. 3.
— Ben-David I., Graham J. R., Harvey C. R. Managerial Miscalibration // Quarterly Journal of Economics, 2013, vol. 128, no. 4.
— Murphy A. H., Winkler R. L. Reliability of Subjective Probability Forecasts of Precipitation and Temperature // Journal of the Royal Statistical Society, Series C, 1977, vol. 26, no. 1.

Не является финансовой рекомендацией.

Разборы биткоина — в Телеграм-канале Liquidity Scar: https://t.me/+N3kA-hWSX8QyNDVi