Блог им. Obi-Van_Kenobi

Конфа. Мое выступление на тему Машинного обучения. Итоги.

Всем привет. Кратко подведу итоги и задам сообществу пару вопросиков.

Во-первых спасибо Тимофею, что дал возможность выступить и в целом, ты крут, практически один тянешь такое огромное мероприприятие.
Контент от других участников мне тоже был интересен, нашел много интересных идей.
Интересно было пообщаться с людьми, которые готовы воспринимать что то новое, и задавать вопросы, к сожалению, как правильно сказал Роккибит, таких мало.  

По поводу моего выступления:

Понимаю, что тема была не простая, а как спикер я лет 10 не выступал, поэтому возможно основную мысли я донес недостаточно ясно. А они следующие: Применение современных методов машинного обучения в трейдинге, это самый эфективный способ анализа рынка, при котором теряется минимум информации.
Стратегии основанные на машинном обучении применяются всеми крупными фондами ( и речь не про ХФТ), и имеют наилучшую точность среди всех методов. Переобучается ли модели, да переобучаются, но переобучаются и все остальные, но машинное обучение дает возможность это лучше контролировать и избегать.


Использование этих методов не так сложно как кажется, поэтому когда в след. раз услышите что анонсируют на конференцию на эту тему, попробуйте не бежать из зала как от пожара, вы сможете, я верю в вас.

Также хотелось бы спросить, имеет ли смысл здесь вести блог на тему машинного обучения? Много ли людей заинтересовано, поставьте + чтоб я мог понять примерно сколько вас.

Спасибо.
★13
58 комментариев
+
Спасибо заранее
avatar
Какие именно методы вы  используете ?? А какие данные? А целевая доходность ??
Алексей Никитин, Tree-based, FCNN. На конфе рассказывал про пару USD/RUB, на всех возможных предикторах. Про доходность методов некоректно говорить, потому как доходность это производная от стратегии, а не от метода. При применении модели правильнй целевой функцией будет ROC AUC в случае задачи классификации, я использовал просто точность и достиг точности в 63 % на тестовой выборке.
Шумихин Михаил, а таймфрейм  наверное  дневки ???
Алексей Никитин, да и часовики тоже использовал
Шумихин Михаил, я-то плюсанул, но вы на плюсики не смотрите. Тема важная и нужная, те, кому она интересна, не виноваты, что их мало.
Я так даже просто ради интереса (не программист) следил бы.
Впрочем, давно слежу и знакомым программистам ссылки кидаю. )
avatar
VladMih, не нужно быть программистом чтоб это применять. Спасибо за ваше мнение.

Шумихин Михаил, 
https://www.facebook.com/FCNNnews/

Если серьезно, о каких деревьях речь, о случайном лесе или о чем-то ином. И еще, почему в нашем случае правильная целевая функция ROC AUC, а не нечто адаптированное к нашей проблематике. Например, доходность. 
avatar
SergeyJu, основной метод на деревьях — градиентный бустинг. В ходу три основных библиотеки — catboost, XGBoost и LightGBM. 
avatar
SergeyJu, ну лучший результат у XGBoost. ROC AUC я предложил потому что свел все к задаче классификации, скорее правильно решать задачу регрессии тогда другую надо брать целевую функцию
Шумихин Михаил, ясно. Желаю удачи.
avatar
Шумихин Михаил, с возвращением, пясните, плз, каким способом оценивали точность:

достиг точности в 63 % на тестовой выборке

У моих сеток, например, процентов заметно больше, но верным предсказанием считаю исполнение любого тейка, который бывает и весьма небольшим.
старый трейдер, подробней напишу в статье следующей
Да, Михаил. Буду внимательно следить за ним.
100 тыс$ хотя бы заработали на рынке с использованием машинного обучения?
Тогда можно будет ответить, стоит ли вести блог на эту тему
avatar
trader_95, нормальный подход =)) «Если у вас нет миллиарда, можете идти в ж..»
avatar
trader_95, вы можете не отвечать
Шумихин Михаил, ну и зачем обижаться? деньги — критерий верности торговой стратегии. ничего личного
avatar
trader_95, я и не думал обижаться, просто вы пока не тотовы к этой теме.
Шумихин Михаил, вопрос остался без ответа, готово ли машинное обучение в вашей реализации к зарабатыванию денег.
а ведь это самый важный вопрос, все остальное имеет мало значения
avatar
Шумихин Михаил, возможно это был один из потенциальных инвесторов, зря отфутболили.
avatar
trader_95, с языка снял! такой вопрос у меня возникает всегда, когда люди сыпят разными новомодными терминами.
avatar
Прикуплю видосик, посмотрим)
avatar
+. G
avatar
О чём предметно рассказал-то, в двух словах? То что все на машобучении сидят, это и так известно
avatar
oerlikon, в основном рассказывал, как машинное обучение позволяет стать более вежливым с незнакомыми людьми. Вам будет полезно полную версию купить у Тимофея
Шумихин Михаил, +100500 за первую часть ответа )))
avatar
Шумихин Михаил, понятно, молодец! и бесплатно не нужно )
avatar
Шумихин Михаил, А если видео платное через Тимофея, то возможно можно получить саму презентацию для изучения бесплатно? 
avatar
oerlikon, ни о чём не рассказал, 5400 примеров для обучения и 240 фич…
avatar
EY, ))) суровый такой машинлёрнинг
avatar
+.
Давай блог. Я тоже в этом направлении копаю, будет интересно почитать.
avatar
Посылаю вам воздушный плюс!
avatar
+.
avatar
++++
avatar

Тематика интересная. Прям в ближайшее время не планирую заниматься, но на будущее (когда решусь) иметь некоторый интересный набор статей было бы здорово. 

 

Если посты будут не а-ля 90% формул, 10% непонятных терминов, а иметь связь с общетрейдерским опытом, терминологией, физическим миром — то почитал бы по мере выхода постов с удовольствием.

avatar
У кого-нибудь есть вообще значимые результаты от торговли при помощи методов ML? Я убил примерно 6 месяцев, тренируя сети в свободное время. Пробовал и FCNN, и CNN, RNN, RL их сочетания, перерепробовал наверное сотни вариантов и моделей, на разных инструментах и ТФ, всевозможные ухищрения типа стекинга, беггинга, ансамблей и прочего. Размеры сетей были на пределе доступных мне вычислительных возможностей.
Мой вывод, что рыбы тут нет и ловить нечего. Результаты нестабильные и использовать их в работе я не смогу. Это мой личный опыт, оплаченный машинным временем. Но если я ошибаюсь, где можно увидеть результат успешного применения нейросетей и ML в трейдинге, даже без раскрытия внутренней кухни и особенности конкретной архитектуры? Просто чтобы знать, что есть какие-то способы победить те проблемы, которые я преодолеть не смог?
avatar
hermit, у меня с нейросетями тоже не получилось, работаю с деревьями. Рабочая гипотеза в том, что бОльшая часть пространства фич — случайный шум с только небольшими областями, где есть «сигнал». Деревьями эти области можно находить и дальше работать только внутри них, как этого добиться с нейросетками я хз.
avatar
oerlikon, я тоже порядочно ковырялся с деревьями. Можно хотя бы контролировать уровень сложности (число степеней свободы). А в сетях неконтролируемый риск переподгонки, имхо.
avatar
SergeyJu, имхо тоже, но это как раз из-за того, что дерево можно «разобрать на детальки» и оставить только те, которые работают, а сеть — принципиально невозможно
бОльшая часть пространства фич — случайный шум с только небольшими областями, где есть «сигнал»

oerlikon, речь о необходимости фича-селекшена, или о чём-то другом?
avatar
i aztec, речь о том, что фича может быть полезна только при значениях из какого-то диапазона, например условно от -5 до 0, а при других — нет
avatar
подписался, ждем машинное обучение )
avatar

Пишите. Побольше формализма, чтобы было все понятно.

В духе Eugene Logunov 

Он Вам еще и комментарии даст содержательные, кмк.

avatar
 Ок. Всем спасибо, я вас понял. Буду писать иногда.
Михаил, очень интересно было бы почитать о ваших подходах и результатах в этой области, пишите обязательно!
avatar
эквити интересны и стейтмент лет за 5
avatar
ves2010, да погоди ты со стейтментом, тут НИР полным ходом :)
avatar
Turbo Pascal, я лет 20 слышу про торговлю нейросетями… но ниразу не видел результата
avatar
ves2010, научники, в отличие от ёжиков, могут грызть свой кактус десятилетиями. И, самое удивительное, что для каждого отдельного ёжика научника это занятие бессмысленное, а в целом — плодотворное.
avatar
ves2010, да уж
avatar
ves2010, 
я лет 20 слышу про торговлю нейросетями… но ниразу не видел результата
как по мне, сколько читаю. Все кто их проектирует, не научились толком еще руками торговать. А это, я так думаю, прям обязательное требование.

Вот к примеру, что пишет в соседней ветке ПВМ. На лицо, разработчик не может определить причинно следственные связи в торговле. Ну как простой пример, падает АТР => уменьшаем тейки и тд. Люди думают, что сейчас всякого говна в сеть загонят, она сама обучится.
То есть, если сам обучиться трейдингу пока не смог, как тут сеть обучишь.
avatar
Андрей К, возможно, до чего-то стоящего дойдет методом тыка.
avatar

Где можно лицезреть реальные результаты ?

Эквити хотя бы за последний год.

Тарас Громницкий, Выслал вам все свои справки 2ндфл курьером, все заверенно нотариусом, извиняюсь что так долго.
Шумихин Михаил, т.е. пока похвастаться нечем.
Блогу на тему машинного обучения быть!
avatar

теги блога Шумихин Михаил

....все тэги



UPDONW
Новый дизайн