Не доверяйте исследованиям, даже своим собственным

Чем больше исследований я провожу (а я провел не так уж много), тем меньше я доверяю другим исследованиям и тем меньше я доверяю своим собственным. Когда вы читаете статью в области финансов, вы неизменно найдете значительные результаты, подтверждающие выводы автора. Когда я провожу регрессии, мои результаты слабые, иногда противоречащие моей гипотезе, иногда подтверждающие ее.

Смещение значимости

Слабые результаты не публикуются (и отрицательные результаты, то есть результаты, которые не находят доказательств гипотезы, также не публикуются). У ученых есть стимул пробовать что-то, пока они не найдут что-то значительное. Конечно, они сообщают только о значительных результатах. Проблема в том, что, во-первых, это форма интеллектуального анализа данных, а во-вторых, в незначительных результатах есть информация, которая теперь потеряна. Будущие исследователи вполне могут дублировать большую часть работы, не зная, что она уже была опробована.

Предвзятость истории

Нам нравятся истории, которые подходят друг другу. В исследованиях (особенно в области финансов) это может быть проблематично. В какой-то момент во время вашего исследования (или заранее) вы разработаете теорию, своего рода историю, которая соберет все ваши результаты вместе, как кусочки головоломки. Это будет развиваться задолго до того, как вы получите все свои результаты. Хорошо иметь гипотезу до того, как вы начнете проводить тесты на своих данных – это помогает избежать интеллектуального анализа данных. Однако опасность заключается в том, что, просматривая свои результаты, вы сбрасываете со счетов результаты, которые не соответствуют вашей истории. Это может быть даже неосознанно. Просто так работает ваш мозг. Опасность в том, что вы сообщаете только те результаты, которые соответствуют вашей истории.

Как исследователь, вы, вероятно, получите в свое распоряжение больше результатов, чем сможете обоснованно сообщить в статье или диссертации. Вы должны сгущать, обобщать, опускать. Более того, вы должны создать видимость целостной структуры, основанного на фактических данных объяснения основных сил, которые вы обнаружили. Вы не можете просто сказать: “Ну, это немного запутанно”. Ваша история должна иметь смысл. Но иногда в мире царит беспорядок, и истории не работают.

Самоанализ

Я написал этот пост не потому, что обнаружил эти тенденции у других исследователей. Я нашел их истоки в себе. У меня есть тщательный надзор, который предотвратит злоупотребления. Теоретически экспертная оценка также должна выявить эти вещи. На практике я тоже не доверяю системе рецензирования. Таким образом, это публичное напоминание самому себе: будьте осторожны с результатами, подобранными в соответствии с вашими предубеждениями.