Сытый конному не леший: фокусы data mining

Знаете, какой набор переменных лучше всего предсказывает S&P500? Ни за что не догадаетесь: это производство сливочного масла в Бангладеш и США + выпуск сыра в США + поголовье овец в США и Бангладеш. И это не совсем шутка — именно такой результат получили исследователи, когда попытались найти, какие переменные лучше всего скоррелированы с рынком акций.

На самом деле, конечно, это экстремальный пример так называемого overfitting — переподгонки. Будьте осторожны с корреляциями! ) И с моделями, основанными на истории — тоже. Модель, идеально описывающая исторические данные, может абсолютно идиотически вести себя в будущем. Яркий пример:

Подробности — в старой работе STUPID DATA MINER TRICKS: OVERFITTING THE S&P 500, Дэвида Лейнвебера из Гарварда.

karapuz-blog.blogspot.com

Данная публикация является личным мнением автора. Мнение владельца сайта может не совпадать с мнением автора.

data mining акции корреляции математика

karapuz

Санкт-Петербург

218

7 985

с 1 апреля 2011

4 Комментария

siva
28 февраля 2013, 07:45
Спасибо, кэп!
+1
Кан Делябр
28 февраля 2013, 08:15
Корреляция не устанавливает причинно-следственные связи. Это м.б. случайное явление на временном периоде. Сегодня она есть, а завтра она исчезнет или поменяет знак. Полученные исследователями выводы говорят только об их квалификации при применении Data mining. Вместе с тем нужно сказать, что между котировками разных инструментов существуют очень тонкие связи, которые не описываются просто тупой корреляцией.
+1
dash01
28 февраля 2013, 10:59
после публикации корреляций, имевших место в прошлом, вдруг перестают действовать в будущем. Страннннно :)
+1
Marsel Tazetdinov
28 февраля 2013, 12:12
Прикольно)
0

Читайте на SMART-LAB:

EUR/USD: пара провалилась, не удержав ключевую поддержку

Евро не смог пробить барьер в ходе роста к последней локальной вершине и после недолгой консолидации начал снижаться, пробив основную поддержку. В начале периода доллар был слаб на фоне...

Tickmill

16:31

Ошибки, которые мешают тебе стать богатым и успешным

Всем Привет, на связи Сергей Алексеев. Основатель Лайв Инвестинг Групп/Live Investing Group, ЛИСА/LISA, Скуллайв/School Live, Проплайв/Prop Live и Лайв ТРЕЙДЕР ТВ/Live ТРЕЙДЕР ТВ. Сегодня...

LiveInvestingGroup

16:57

Более 3600 сделок за квартал: как торгует на бирже президент США

Управление по правительственной этике США опубликовало очередное раскрытие активов президента США Дональда Трампа. За I квартал 2026 года было совершено более 3600 сделок общим объёмом от $220...

Альфа-Инвестиции

17:12

Стали ли интересными акции ФосАгро на фоне ралли в ценах на удобрения?

Здравствуйте! Эскалация напряжённости вокруг Ормузского пролива спровоцировала рост цен сразу на нескольких товарных рынках. Помимо нефтегазового сектора, одним из бенефициаров текущей ситуации...