Список проголосовавших за комментарий " <p>Обманная статистика</p><p>Настоящие ученые не проверяют свои теории с помощью исторических симуляций. Они проводят эксперименты. Вот как это работает в экспериментальных науках:</p><p>1. При помощи модели делается большое количество прогнозов (форвардное моделирование).</p><p>2. Проводятся измерения.</p><p>3. Оцениваются ошибки предсказания.</p><p>Однако исследования, представленные в SSRN, часто следуют другому порядку:</p><p>1. Проводятся измерения.</p><p>2. Модели применяются к статистическим данным за прошедшие периоды.</p><p>3. Оцениваются расхождения с реальными историческими данными, после чего выбирается одна модель.</p><p>Ошибки, найденные при историческом тестировании, или бэктестинге, — не то же самое, что ошибки прогнозирования, потому что при бэктестинге модель можно с легкостью подстраивать, пока не будет найдено конкретное алгебраическое выражение, «объясняющее» все полученные данные. Это приводит к систематической ошибке отбора, которую Американская статистическая ассоциация называет весьма опасной:</p><blockquote><p><em>«Проведение нескольких тестов на одних и тех же данных и на одной и той же стадии анализа повышает вероятность получения по меньшей мере, одного неверного результата. Выбор одного „осмысленного“ результата при множестве параллельных испытаний создает серьезную опасность неверного заключения. Если при этом тесты и их результаты описываются не полностью, такая практика в высшей степени способна ввести в заблуждение».</em></p></blockquote><p>Да, именно так: главная профессиональная организация статистиков считает статистический подход, используемый для проверки финансовых теорий, неуместным, если не мошенническим. Это вынудило нынешнего президента Американской финансовой ассоциации признать, что наиболее востребованные результаты исследований в финансовой экономике, скорее всего, ошибочны. Эконометрическое сообщество позорно замалчивает эту тему, игнорируя проблему «параллельного тестирования», как если бы ее не существовало. До сих пор ни один известный учебник эконометрики не упоминает об опасности искусственной подгонки модели под результат в ходе обратного исторического тестирования.</p><p>Вы когда-нибудь задавались вопросом, почему эмпирические исследования в области финансов редко публикуются в статистических журналах? Одна из причин заключается как раз в том, что большая часть таких исследований никогда бы не удостоилась публикации в настоящем статистическом журнале, потому что их методы проверки, как правило, не учитывают эффекты параллельного тестирования. Поэтому они публикуются в эконометрических журналах, большинство из которых не рецензируется ни математиками, ни статистиками.</p>"