Шумихин Михаил
Шумихин Михаил личный блог
29 апреля 2019, 17:31

Конфа. Мое выступление на тему Машинного обучения. Итоги.

Всем привет. Кратко подведу итоги и задам сообществу пару вопросиков.

Во-первых спасибо Тимофею, что дал возможность выступить и в целом, ты крут, практически один тянешь такое огромное мероприприятие.
Контент от других участников мне тоже был интересен, нашел много интересных идей.
Интересно было пообщаться с людьми, которые готовы воспринимать что то новое, и задавать вопросы, к сожалению, как правильно сказал Роккибит, таких мало.  

По поводу моего выступления:

Понимаю, что тема была не простая, а как спикер я лет 10 не выступал, поэтому возможно основную мысли я донес недостаточно ясно. А они следующие: Применение современных методов машинного обучения в трейдинге, это самый эфективный способ анализа рынка, при котором теряется минимум информации.
Стратегии основанные на машинном обучении применяются всеми крупными фондами ( и речь не про ХФТ), и имеют наилучшую точность среди всех методов. Переобучается ли модели, да переобучаются, но переобучаются и все остальные, но машинное обучение дает возможность это лучше контролировать и избегать.


Использование этих методов не так сложно как кажется, поэтому когда в след. раз услышите что анонсируют на конференцию на эту тему, попробуйте не бежать из зала как от пожара, вы сможете, я верю в вас.

Также хотелось бы спросить, имеет ли смысл здесь вести блог на тему машинного обучения? Много ли людей заинтересовано, поставьте + чтоб я мог понять примерно сколько вас.

Спасибо.
58 Комментариев
  • klimvv
    29 апреля 2019, 17:37
    +
    Спасибо заранее
  • Алексей Никитин
    29 апреля 2019, 17:40
    Какие именно методы вы  используете ?? А какие данные? А целевая доходность ??
      • Алексей Никитин
        29 апреля 2019, 18:46
        Шумихин Михаил, а таймфрейм  наверное  дневки ???
      • VladMih
        29 апреля 2019, 19:06
        Шумихин Михаил, я-то плюсанул, но вы на плюсики не смотрите. Тема важная и нужная, те, кому она интересна, не виноваты, что их мало.
        Я так даже просто ради интереса (не программист) следил бы.
        Впрочем, давно слежу и знакомым программистам ссылки кидаю. )
      • SergeyJu
        29 апреля 2019, 19:10
        Шумихин Михаил, 
        https://www.facebook.com/FCNNnews/

        Если серьезно, о каких деревьях речь, о случайном лесе или о чем-то ином. И еще, почему в нашем случае правильная целевая функция ROC AUC, а не нечто адаптированное к нашей проблематике. Например, доходность. 
        • Михаил
          29 апреля 2019, 19:23
          SergeyJu, основной метод на деревьях — градиентный бустинг. В ходу три основных библиотеки — catboost, XGBoost и LightGBM. 
          • SergeyJu
            29 апреля 2019, 23:10
            Шумихин Михаил, ясно. Желаю удачи.
      • старый трейдер
        30 апреля 2019, 11:01
        Шумихин Михаил, с возвращением, пясните, плз, каким способом оценивали точность:

        достиг точности в 63 % на тестовой выборке

        У моих сеток, например, процентов заметно больше, но верным предсказанием считаю исполнение любого тейка, который бывает и весьма небольшим.
  • Игорь Яфаркин
    29 апреля 2019, 17:45
    Да, Михаил. Буду внимательно следить за ним.
  • trader_95
    29 апреля 2019, 17:54
    100 тыс$ хотя бы заработали на рынке с использованием машинного обучения?
    Тогда можно будет ответить, стоит ли вести блог на эту тему
    • Андрей К
      29 апреля 2019, 17:56
      trader_95, нормальный подход =)) «Если у вас нет миллиарда, можете идти в ж..»
      • trader_95
        29 апреля 2019, 18:24
        Шумихин Михаил, ну и зачем обижаться? деньги — критерий верности торговой стратегии. ничего личного
          • trader_95
            29 апреля 2019, 18:44
            Шумихин Михаил, вопрос остался без ответа, готово ли машинное обучение в вашей реализации к зарабатыванию денег.
            а ведь это самый важный вопрос, все остальное имеет мало значения
          • Андрей К
            29 апреля 2019, 22:25
            Шумихин Михаил, возможно это был один из потенциальных инвесторов, зря отфутболили.
    • Pennyquick
      29 апреля 2019, 21:47
      trader_95, с языка снял! такой вопрос у меня возникает всегда, когда люди сыпят разными новомодными терминами.
  • Андрей К
    29 апреля 2019, 17:54
    Прикуплю видосик, посмотрим)
  • Ivan Antipin
    29 апреля 2019, 17:56
    +. G
  • Oerlikonium
    29 апреля 2019, 18:01
    О чём предметно рассказал-то, в двух словах? То что все на машобучении сидят, это и так известно
      • VladMih
        29 апреля 2019, 19:07
        Шумихин Михаил, +100500 за первую часть ответа )))
      • Oerlikonium
        29 апреля 2019, 19:30
        Шумихин Михаил, понятно, молодец! и бесплатно не нужно )
      • nskez
        29 апреля 2019, 19:41
        Шумихин Михаил, А если видео платное через Тимофея, то возможно можно получить саму презентацию для изучения бесплатно? 
    • EY
      29 апреля 2019, 18:37
      oerlikon, ни о чём не рассказал, 5400 примеров для обучения и 240 фич…
      • Oerlikonium
        29 апреля 2019, 19:31
        EY, ))) суровый такой машинлёрнинг
  • Turbo Pascal
    29 апреля 2019, 18:12
    +.
    Давай блог. Я тоже в этом направлении копаю, будет интересно почитать.
  • Kot_Begemot
    29 апреля 2019, 18:16
    Посылаю вам воздушный плюс!
  • Schurik
    29 апреля 2019, 18:21
    +.
  • metatron
    29 апреля 2019, 18:29
    ++++
  • Replikant_mih
    29 апреля 2019, 19:08

    Тематика интересная. Прям в ближайшее время не планирую заниматься, но на будущее (когда решусь) иметь некоторый интересный набор статей было бы здорово. 

     

    Если посты будут не а-ля 90% формул, 10% непонятных терминов, а иметь связь с общетрейдерским опытом, терминологией, физическим миром — то почитал бы по мере выхода постов с удовольствием.

  • hermit
    29 апреля 2019, 19:27
    У кого-нибудь есть вообще значимые результаты от торговли при помощи методов ML? Я убил примерно 6 месяцев, тренируя сети в свободное время. Пробовал и FCNN, и CNN, RNN, RL их сочетания, перерепробовал наверное сотни вариантов и моделей, на разных инструментах и ТФ, всевозможные ухищрения типа стекинга, беггинга, ансамблей и прочего. Размеры сетей были на пределе доступных мне вычислительных возможностей.
    Мой вывод, что рыбы тут нет и ловить нечего. Результаты нестабильные и использовать их в работе я не смогу. Это мой личный опыт, оплаченный машинным временем. Но если я ошибаюсь, где можно увидеть результат успешного применения нейросетей и ML в трейдинге, даже без раскрытия внутренней кухни и особенности конкретной архитектуры? Просто чтобы знать, что есть какие-то способы победить те проблемы, которые я преодолеть не смог?
    • Oerlikonium
      29 апреля 2019, 19:34
      hermit, у меня с нейросетями тоже не получилось, работаю с деревьями. Рабочая гипотеза в том, что бОльшая часть пространства фич — случайный шум с только небольшими областями, где есть «сигнал». Деревьями эти области можно находить и дальше работать только внутри них, как этого добиться с нейросетками я хз.
      • SergeyJu
        29 апреля 2019, 23:28
        oerlikon, я тоже порядочно ковырялся с деревьями. Можно хотя бы контролировать уровень сложности (число степеней свободы). А в сетях неконтролируемый риск переподгонки, имхо.
        • Пафос Респектыч
          29 апреля 2019, 23:32
          SergeyJu, имхо тоже, но это как раз из-за того, что дерево можно «разобрать на детальки» и оставить только те, которые работают, а сеть — принципиально невозможно
      • i aztec
        05 мая 2019, 17:58
        бОльшая часть пространства фич — случайный шум с только небольшими областями, где есть «сигнал»

        oerlikon, речь о необходимости фича-селекшена, или о чём-то другом?
        • Oerlikonium
          06 мая 2019, 08:44
          i aztec, речь о том, что фича может быть полезна только при значениях из какого-то диапазона, например условно от -5 до 0, а при других — нет
  • gry
    29 апреля 2019, 20:08
    подписался, ждем машинное обучение )
  • ch5oh
    29 апреля 2019, 20:13

    Пишите. Побольше формализма, чтобы было все понятно.

    В духе Eugene Logunov 

    Он Вам еще и комментарии даст содержательные, кмк.

  • asashoryu
    30 апреля 2019, 09:50
    Михаил, очень интересно было бы почитать о ваших подходах и результатах в этой области, пишите обязательно!
  • ves2010
    30 апреля 2019, 10:49
    эквити интересны и стейтмент лет за 5
    • Turbo Pascal
      30 апреля 2019, 11:28
      ves2010, да погоди ты со стейтментом, тут НИР полным ходом :)
      • ves2010
        30 апреля 2019, 11:31
        Turbo Pascal, я лет 20 слышу про торговлю нейросетями… но ниразу не видел результата
        • SergeyJu
          30 апреля 2019, 13:04
          ves2010, научники, в отличие от ёжиков, могут грызть свой кактус десятилетиями. И, самое удивительное, что для каждого отдельного ёжика научника это занятие бессмысленное, а в целом — плодотворное.
        • trader_95
          30 апреля 2019, 13:06
          ves2010, да уж
        • Андрей К
          30 апреля 2019, 14:33
          ves2010, 
          я лет 20 слышу про торговлю нейросетями… но ниразу не видел результата
          как по мне, сколько читаю. Все кто их проектирует, не научились толком еще руками торговать. А это, я так думаю, прям обязательное требование.

          Вот к примеру, что пишет в соседней ветке ПВМ. На лицо, разработчик не может определить причинно следственные связи в торговле. Ну как простой пример, падает АТР => уменьшаем тейки и тд. Люди думают, что сейчас всякого говна в сеть загонят, она сама обучится.
          То есть, если сам обучиться трейдингу пока не смог, как тут сеть обучишь.
          • SergeyJu
            30 апреля 2019, 14:45
            Андрей К, возможно, до чего-то стоящего дойдет методом тыка.
  • Тарас Громницкий
    30 апреля 2019, 14:55

    Где можно лицезреть реальные результаты ?

    Эквити хотя бы за последний год.

  • BydloTrader
    04 мая 2019, 10:05
    Блогу на тему машинного обучения быть!

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн