28 февраля 2013, 04:02
Сытый конному не леший: фокусы data mining
Знаете, какой набор переменных лучше всего предсказывает S&P500? Ни за что не догадаетесь: это производство сливочного масла в Бангладеш и США + выпуск сыра в США + поголовье овец в США и Бангладеш. И это не совсем шутка — именно такой результат получили исследователи, когда попытались найти, какие переменные лучше всего скоррелированы с рынком акций.
На самом деле, конечно, это экстремальный пример так называемого overfitting — переподгонки. Будьте осторожны с корреляциями! ) И с моделями, основанными на истории — тоже. Модель, идеально описывающая исторические данные, может абсолютно идиотически вести себя в будущем. Яркий пример:
Подробности — в старой работе STUPID DATA MINER TRICKS: OVERFITTING THE S&P 500, Дэвида Лейнвебера из Гарварда.
karapuz-blog.blogspot.com
На самом деле, конечно, это экстремальный пример так называемого overfitting — переподгонки. Будьте осторожны с корреляциями! ) И с моделями, основанными на истории — тоже. Модель, идеально описывающая исторические данные, может абсолютно идиотически вести себя в будущем. Яркий пример:
Подробности — в старой работе STUPID DATA MINER TRICKS: OVERFITTING THE S&P 500, Дэвида Лейнвебера из Гарварда.
karapuz-blog.blogspot.com
4 Комментария
siva28 февраля 2013, 07:45Спасибо, кэп!+1- Кан Делябр28 февраля 2013, 08:15Корреляция не устанавливает причинно-следственные связи. Это м.б. случайное явление на временном периоде. Сегодня она есть, а завтра она исчезнет или поменяет знак. Полученные исследователями выводы говорят только об их квалификации при применении Data mining. Вместе с тем нужно сказать, что между котировками разных инструментов существуют очень тонкие связи, которые не описываются просто тупой корреляцией.+1
- dash0128 февраля 2013, 10:59после публикации корреляций, имевших место в прошлом, вдруг перестают действовать в будущем. Страннннно :)+1
Marsel Tazetdinov28 февраля 2013, 12:12Прикольно)0
Читайте на SMART-LAB:
Кто не присылает своих клиентов и сотрудников на конференцию смартлаба останется позади индустрии
Наша конфа до сих лучшая, потому что на ней максимально представлены все компании российского рынка .
Именно нашу конференцию посещает больше всего профессионалов фондового рынка, многих из...
Низкие запасы газа усилят конкуренцию Европы и Азии за СПГ
По данным GIE (Gas Infrastructure Europe), ПХГ Европы заполнены на 73,94%, в них на 11 млрд куб/м газа меньше, чем год назад.
Быстрая октябрьская закачка помогает сократить отставание, однако...
14.10.2026
Владимир Путин рассказал о важности кибербезопасности
Сегодня президент России провел совещание по вопросам повышения уровня цифровой безопасности, назвав эту тему крайне важной и актуальной. Делимся главными тезисами выступления.
▶️...
14.10.2026
Heinrich von Baur, я, как ждун)), жду 103-115р за лист.
1:12
Yasir, да в суде будет просто кричать и искать крайнего, америка там, трамп, зеленский да вся европа против ойла. незнаю чем закончилась история с ВБ.
alexros (Александр), ну да, похоже началось, после второго обещанного ушата)). уйдем ниже 120 только на негативе? (у ВК должок с июля...)
DEP81, Евтушенков будет тянуть до последнего, на низком рынке он рынке пойдет.
А е-с-л-и зелёный бумажка стоить будет 95 РЭ к Новому году?
Иван Бубин, потом твоему депозит ложным проблем все объяснить смогут
Чем совок лучше сбера, кто-нибудь скажет?
Старый Прагматик, рассылку просто делал для тан по бо3 всеми доступными способами, по е-мэйл, по почте, курьером. Его домашний я незнаю, поэтому отправил по месту работы и адресам которые нашел в о...
Есть еще вариант. Сберу нужно обязательно выкупить большое количество бумаг по 13му выпуску, чтобы провести ОСВО и реструктуризацию по нему провести. Им не выгодно, чтобы цена росла, нужно покупать ак...
Воробьев Артем, ну и что с ре 1 денежный поток минорам много лет отрицательный. див +40 допка -80. Ценности в ре 1 нет.