28 февраля 2013, 04:02
Сытый конному не леший: фокусы data mining
Знаете, какой набор переменных лучше всего предсказывает S&P500? Ни за что не догадаетесь: это производство сливочного масла в Бангладеш и США + выпуск сыра в США + поголовье овец в США и Бангладеш. И это не совсем шутка — именно такой результат получили исследователи, когда попытались найти, какие переменные лучше всего скоррелированы с рынком акций.
На самом деле, конечно, это экстремальный пример так называемого overfitting — переподгонки. Будьте осторожны с корреляциями! ) И с моделями, основанными на истории — тоже. Модель, идеально описывающая исторические данные, может абсолютно идиотически вести себя в будущем. Яркий пример:
Подробности — в старой работе STUPID DATA MINER TRICKS: OVERFITTING THE S&P 500, Дэвида Лейнвебера из Гарварда.
karapuz-blog.blogspot.com
На самом деле, конечно, это экстремальный пример так называемого overfitting — переподгонки. Будьте осторожны с корреляциями! ) И с моделями, основанными на истории — тоже. Модель, идеально описывающая исторические данные, может абсолютно идиотически вести себя в будущем. Яркий пример:
Подробности — в старой работе STUPID DATA MINER TRICKS: OVERFITTING THE S&P 500, Дэвида Лейнвебера из Гарварда.
karapuz-blog.blogspot.com
4 Комментария
siva28 февраля 2013, 07:45Спасибо, кэп!+1- Кан Делябр28 февраля 2013, 08:15Корреляция не устанавливает причинно-следственные связи. Это м.б. случайное явление на временном периоде. Сегодня она есть, а завтра она исчезнет или поменяет знак. Полученные исследователями выводы говорят только об их квалификации при применении Data mining. Вместе с тем нужно сказать, что между котировками разных инструментов существуют очень тонкие связи, которые не описываются просто тупой корреляцией.+1
- dash0128 февраля 2013, 10:59после публикации корреляций, имевших место в прошлом, вдруг перестают действовать в будущем. Страннннно :)+1
Marsel Tazetdinov28 февраля 2013, 12:12Прикольно)0
Читайте на SMART-LAB:
Медно-никелевый парадокс: надолго ли установился ценовой паритет на металлы?
Ценовой спред между дорогим никелем и заметно уступающей ему по стоимости медью практически исчез: металлы, которые всегда торговались с заметной разницей, оказались сегодня близки к паритету....
16:47
⚡️Flash Note: Кто пострадает от повышения налогов?
Сегодня вышли новости о повышении налогов. Вот несколько ссылок: РБК: Минфин предложил распространить прогрессию НДФЛ на «пассивные» доходы Коммерсант: Минфин предложил облагать пассивные...
16:24
Когда спред действительно схлопнется: как проверять пары для арбитража
Одна из частых ошибок при построении арбитражных стратегий — путать корреляцию и коинтеграцию. Кажется, если два инструмента исторически двигались скоррелированно, то отклонение между...
13:27
Часть 4. Худший сектор за 10 лет: Почему рост бизнеса не привел к росту доходов акционеров?
Продолжаю серию заметок на тему: «Какие бизнесы на Мосбирже смогли успешно „впитать“ инфляцию за 10 лет?» Напомню, что инфляция за 10 лет составила 85% официальная, и около 100% по проверке моей...
23.09.2026
17:24
клич инвестора — всегда будь готов! лучше бы напечатали скока нехватает да и все) так прибьют всех выживших, оптимизиторы… а еще страшное слово — внедренцы!)
Цена Urals в портах Балтики 14–18 сентября выросла на $9,3, до $104,99 за баррель, а дисконт к Dated Brent сократился до $20,85 — минимума с ноября 2025 г. — Ъ Скидка на российскую нефть Urals к Dated...
Цена Urals в портах Балтики 14–18 сентября выросла на $9,3, до $104,99 за баррель, а дисконт к Dated Brent сократился до $20,85 — минимума с ноября 2025 г. — Ъ Скидка на российскую нефть Urals к Dated...
voix_kas, не торопитесь, рано. Думаю на следующей неделе на 80 с копейкой.
17:23
Александр Нефедов, то есть если акции стоят 10% их можно вернуть по 100%? 👀
BlackPereira, ну ситуация в экономике действительно тяжелая. Много неплатежей и дебиторки. Везде кроме ВПК просадка. Правы топы БЛ сказав что раньше в кризисы рынок всегда быстро восмтанавливался. ...
Купон Шрёдингера пришел лкх1
По словам главы ЦБ, использование цифрового рубля позволит проводить безналичную оплату даже при отсутствии интернета – такую возможность планируется реализовать в ближайшее время
17:20
OBOROT, надо бы ваши мысли прочитать мудозвонам продающим акции ростела и разгоняющим медвежью экспансию…
Денис, обоснуй. С максимума 14 сентября продали на 1,5 млрд., купили на 0,4 млрд. Даже спекуляция по выносу толпы потребует половины от 0,9 млрд. Избушки такой риск не примут.