Блог им. karapuz

Сытый конному не леший: фокусы data mining

    • 28 февраля 2013, 04:02
    • |
    • karapuz
  • Еще
Знаете, какой набор переменных лучше всего предсказывает S&P500? Ни за что не догадаетесь: это производство сливочного масла в Бангладеш и США + выпуск сыра в США + поголовье овец в США и Бангладеш. И это не совсем шутка — именно такой результат получили исследователи, когда попытались найти, какие переменные лучше всего скоррелированы с рынком акций.
Сытый конному не леший: фокусы data mining

На самом деле, конечно, это экстремальный пример так называемого overfitting — переподгонки. Будьте осторожны с корреляциями! ) И с моделями, основанными на истории — тоже. Модель, идеально описывающая исторические данные, может абсолютно идиотически вести себя в будущем. Яркий пример:

Сытый конному не леший: фокусы data mining

Подробности — в старой работе STUPID DATA MINER TRICKS: OVERFITTING THE S&P 500, Дэвида Лейнвебера из Гарварда. 


karapuz-blog.blogspot.com
Данная публикация является личным мнением автора. Мнение владельца сайта может не совпадать с мнением автора.
327 | ★4
4 комментария
Спасибо, кэп!
avatar
Корреляция не устанавливает причинно-следственные связи. Это м.б. случайное явление на временном периоде. Сегодня она есть, а завтра она исчезнет или поменяет знак. Полученные исследователями выводы говорят только об их квалификации при применении Data mining. Вместе с тем нужно сказать, что между котировками разных инструментов существуют очень тонкие связи, которые не описываются просто тупой корреляцией.
avatar
после публикации корреляций, имевших место в прошлом, вдруг перестают действовать в будущем. Страннннно :)
avatar
Прикольно)
avatar

Читайте на SMART-LAB:
Фото
GBP/USD на краю диапазона: выдержат ли нервы покупателей?
Прошлую неделю британский фунт провел в режиме затяжного пике, заодно проверив на прочность нервную систему “быков”, и вплотную приблизился к...
Фото
Пятница, 13-е: день «быков» или «медведей»?
Фондовый рынок обожает календарные суеверия: «понедельник — день тяжёлый», «продавай в мае и уходи», «чёрный август» и, конечно,...
Фото
Ждём вас на Дне инвестора сегодня в 16:00
Поговорим о трендах, стратегии и ключевых приоритетах Хэдхантера на ближайшие годы: → За счёт чего компания будет расти → Как чувствует...
Фото
Почему Базис уверенно смотрит в 2027 год? Оцениваем отчет за 3 квартал и будущие перспективы акций
Базис отчитался за 3 квартал. Из производителей софта за период отчитались пока Позитив и Базис. ✅ Пресс-релиз ✅ Презентация   ✅ Отчетность...

теги блога karapuz

....все тэги



UPDONW
Новый дизайн