Илья Т.
Илья Т. личный блог
14 мая 2021, 21:47

Градиентный бустинг с годовой перспективой ч.2

Неделю назад, я рассказал о своих попытках применить градиентный бустинг к выбору акций на годовую перспективу.
Тогда, в комментариях мне рассказали много всего полезного, но основные замечания над которыми я работал в течении недели были:
1. Бэктест был проведен всего на 3-х годах (что было обусловлено небольшим обучающим набором)
2. Граница принятия решения 1.01 обеспечивала «заглядывание в будущее» из-за того что использовала прошлогоднюю отчетность.
Я сместил границу принятия решения на апрель и расширил тренировочный датасет (и ещё провел кучу мелких улучшений, например вместо RMSE перешел на квантильную функцию потерь, что оказалось очень уместно). К сожалению, расширение тренировочного датасета ни на грамм не снизило ошибку при обучении на 20 годах, но теперь при уменьшении количества лет, качество страдает значительно меньше, что в свою очередь позволило мне провести бэктест на 7 годах (хотя в качестве 2014-го я сильно сомневаюсь).
С выборкой в 7 наблюдений, уже можно (зажмурившись) попытаться оценить статистическую доствоерность гипотезы о том что моя модель дает лучшие результаты чем S&P500 по итогам года. У меня получилось p-value ~ 0.03 (парный стьюдент-тест), что вроде-бы хорошо, но я что-то в этом сильно сомневаюсь и буду ещё перепроверять.
Я создал тестовый портфель из акций, рекомендованных моделью на 21-22ее годы (там ещё INTU должно было быть, но я его здесь не нашел) — будем наблюдать.
Графики бэктестов (S&P500 — красная, модель- синяя):
Градиентный бустинг с годовой перспективой ч.2
Градиентный бустинг с годовой перспективой ч.2
Градиентный бустинг с годовой перспективой ч.2
Градиентный бустинг с годовой перспективой ч.2
Градиентный бустинг с годовой перспективой ч.2
Градиентный бустинг с годовой перспективой ч.2
Градиентный бустинг с годовой перспективой ч.2
26 Комментариев
  • Михаил
    14 мая 2021, 22:03
    К 7 заведомо не нормальным величинам применять Стьюдента имхо не очень. Мне кажется нужно копать в сторону большего числа точек. Отчетность выходит раз в квартал, почему бы не принимать решения раз в квартала на основе отчетности за предыдущий квартал. У вас уже будет 28 точек. Я бы к ним какой-нибудь непараметрический тест применил (Манна — Уитни или Уилкоксона).
  • 3Qu
    14 мая 2021, 23:06
    Почитал пред топик. Понравился.
    Думаю, основная мысль:
    Мне 42 года и большую часть из них я в сказки не верю, поэтому думаю что это выглядит слишком хорошо чтобы быть правдой. Если бы в природе существовали такие фичи, которые давали бы прибыль больше чем рандом, то наверное человечество бы их заметило и учло раньше меня
    Вы знаете как я могу нейросети готовить? И не только нейросети.) Не оторвешься.
    Давал обучалки другим, проверяли своими методами — тоже все отлично.
    Одна беда, в реальности все это не работает.
    ЗЫ Кстати, мартышка Долли который раз превосходит по эффективности лучшие инвест фонды. Ни о чем не говорит?
  • Гуру Хренов
    15 мая 2021, 00:53
    почему машинное обучение работает хорошо на исторических данных, но отказывается работать на реальных данных — это самая большая загадка искусственного интеллекта
  • П М
    15 мая 2021, 04:36
    Для чистоты стоит сделать портфель НЕ рекомендованных акций и сравнить итоги потом

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн