28 февраля 2013, 04:02
Сытый конному не леший: фокусы data mining
Знаете, какой набор переменных лучше всего предсказывает S&P500? Ни за что не догадаетесь: это производство сливочного масла в Бангладеш и США + выпуск сыра в США + поголовье овец в США и Бангладеш. И это не совсем шутка — именно такой результат получили исследователи, когда попытались найти, какие переменные лучше всего скоррелированы с рынком акций.
На самом деле, конечно, это экстремальный пример так называемого overfitting — переподгонки. Будьте осторожны с корреляциями! ) И с моделями, основанными на истории — тоже. Модель, идеально описывающая исторические данные, может абсолютно идиотически вести себя в будущем. Яркий пример:
Подробности — в старой работе STUPID DATA MINER TRICKS: OVERFITTING THE S&P 500, Дэвида Лейнвебера из Гарварда.
karapuz-blog.blogspot.com
На самом деле, конечно, это экстремальный пример так называемого overfitting — переподгонки. Будьте осторожны с корреляциями! ) И с моделями, основанными на истории — тоже. Модель, идеально описывающая исторические данные, может абсолютно идиотически вести себя в будущем. Яркий пример:
Подробности — в старой работе STUPID DATA MINER TRICKS: OVERFITTING THE S&P 500, Дэвида Лейнвебера из Гарварда.
karapuz-blog.blogspot.com
4 Комментария
siva28 февраля 2013, 07:45Спасибо, кэп!+1- Кан Делябр28 февраля 2013, 08:15Корреляция не устанавливает причинно-следственные связи. Это м.б. случайное явление на временном периоде. Сегодня она есть, а завтра она исчезнет или поменяет знак. Полученные исследователями выводы говорят только об их квалификации при применении Data mining. Вместе с тем нужно сказать, что между котировками разных инструментов существуют очень тонкие связи, которые не описываются просто тупой корреляцией.+1
- dash0128 февраля 2013, 10:59после публикации корреляций, имевших место в прошлом, вдруг перестают действовать в будущем. Страннннно :)+1
Marsel Tazetdinov28 февраля 2013, 12:12Прикольно)0
Читайте на SMART-LAB:
Как быстро закроется дивидендный гэп в акциях Сбербанка
Бумаги Сбера торговались с дивидендами за 2025 г. до 17 июля. На следующий день обыкновенные акции Сбербанка открылись с дивидендным разрывом величиной в 11,6%. Рассмотрим возможные сроки...
15:50
Сигнал к росту: 5 бумаг, готовых пробить нисходящий тренд
После нескольких месяцев стремительного снижения Индекс МосБиржи пытается восстановить накопленные потери. Затяжное падение привело к формированию выраженного нисходящего тренда во многих...
15:46
Разместили выпуск облигаций!
Успешно разместили облигации серии 003P-20 на финансирование текущих расходов и общекорпоративные цели.
Ключевые параметры размещения:
Объем: 22 млрд рублей Срок обращения: 10 лет Купон:...
15:19
Константин, это похоже должно укрепить веру шортистов, на этом кукл их отжарит выше
16:02
Гронинген, полимаркет 67% за снижение
OBOROT, Ещё успеете добрать по 0,2.
Трамп может на этой неделе ввести пошлины в размере от 10% до 12,5% на товары из 60 стран — FT Трамп может на этой неделе ввести пошлины в размере от 10% до 12,5% на товары из 60 стран, пишет FT.
...
Bl Mu, достаточно и ликвидности, и доходности, в том числе купонной :)))
Пишут, что ЭсЭфАй подали заявление на самоликвидацию.
Не в курсе по чем делистинг будет?
Темнейший Лорд, вчера в Евротрансе +100% было, никто не тормозил
15:57
Дмитрий, можно без плечей на свои
Как быстро закроется дивидендный гэп в акциях Сбербанка
Бумаги Сбера торговались с дивидендами за 2025 г. до 17 июля. На следующий день обыкновенные акции Сбербанка открылись с дивидендным разрывом...
15:56
igorwolf, — за пристроить дивы — это к Юрикам участникам, а на счет онанизмом — они же этим и занимались — долгие месяцы на 2500 — плюс/на минус и физики — как класс — меньший — более пугливый — вс...