Блог им. dt0wer

Вечер ML на SL: нейронка для RI

    • 12 ноября 2019, 21:23
    • |
    • dt0wer
  • Еще
Пост навеян сообщением коллеги по опасному бизнесу, который бьётся с RF, ну я наконец-то допилил свою нейронку. Тренировалась она на 5-минутках в RI, картинка с результатом тренировок в настоящий момент получается следующая:
Вечер ML на SL: нейронка для RI
Если грубо, то каппа это показатель, который можно трактовать как преимущество прогнозной модели в сравнении с тупым рандомом. F1 это мера, которая определяет, насколько точна модель (отсутствие ложных предсказаний) и одновременно насколько она чувствительна (кол-во пропущенных мячей). Полученные по ним значения 0.924 и >0.9 соответственно, это совершенно запредельная точность «на бумаге».
Что касается confusion matrix, то её можно трактовать как соотношение предсказаний и реальных значений. Как видно, тут тоже всё вроде бы ок, ни один шорт как лонг не был классифицирован и наоборот.

Погонял сейчас на вечёрке, но, как и следовало ожидать, на реальных биржевых данных всё оказалось далеко не так радужно:
Вечер ML на SL: нейронка для RI
Квадратиками помечены прогнозы (буква внутри — сам прогноз): скрипт ставит их на последнюю свечу, после которой, согласно алгоритму, предполагается сразу кидать сделку в рынок в соответствии с предсказанием. Как видно, хотя в целом направление определено верно, но будь то реальная торговля, первые трейды, отмеченные на картинке, обречены были бы вылететь по стопу.

Завтра буду крутить весь день — надеюсь в ходе эксперимента установить, работает ли ТА на российском рынке :-)
★2
на мой взгляд делать предсказания на рынке по ценам неправильная идея изначально

встречал людей которые на бирже стойки покупают и включают кучу роботов для торговли в hft — они говорят что потратили кучу денег чтобы понять что предсказывать будущее не нужно
avatar

meat

Вы хотите доказать, что нейронка отлично подходит для курвфитинга? ;)
avatar

Les Paul

Les Paul, никак нет. Я хочу оценить, насколько она подходит для реальных трейдов по прогнозам.
avatar

dt0wer

dt0wer, можно два вопроса, которые могут показаться грубыми, но таковыми не являются (можно не отвечать). сколько вам лет? програмирование для вас профильное занятие?
avatar

Les Paul

Les Paul, с какой целью вы интересуетесь?
avatar

dt0wer

dt0wer, для выбора правильной (понятной) аргументации.
avatar

Les Paul

Les Paul, вы можете аргументировать так, как вам удобно.
avatar

dt0wer

dt0wer, хорошо, так и поступлю, то что вы делаете, денег вам не принесет, но само по себе дело полезное, развивает мышление и тп.
там далее, есть еще много интересных идей и алгоритмов, один генетический алгоритм чего стоит, но это все надо пройти самому, что бы понять. удачи!

когда это все надоест или придет понимание, приходите в опционы, на пару лет еще развлечений найдете, там и увидимся. :)
avatar

Les Paul

Les Paul, спасибо за ваш совет, учитель. Без вас ну никак бы не разобрался.
avatar

dt0wer

dt0wer, видите, как важно подобрать правильную аргументацию. :D
удачи!
avatar

Les Paul

 Les Paul, как как … фиттинга? Ну типа да, я это и имел в виду ))
avatar

Simix

Всё это наукообразие я проделывал в 2009 году чтобы сейчас прийти к полностью ручной торговле.
История не учит ничему.
Нельзя обученную на истории сеть пускать на живые деньги.
Роботы на бирже могут быть толко HFT.
Вам конечно кажется что вы делаете что-то жутко умное, однако это всего лишь самооправдание.
Но ладно, не буду мешать набивать собственные шишки.

avatar

Simix

Simix, мне ничего не кажется сверх того, что покажет вскрытие (тесты). Совершенно не собираюсь пускать её на реальный счёт, по крайней мере до тех пор, пока не увижу стабильно положительного результата после минимум недели прогона.
avatar

dt0wer

Такие резалты только на train выборке могут быть. Ищите ошибку.
avatar

Ынвестор

Ынвестор, знаю, но нет, в test только unseen data. train-test разделёны ручками, 96% в train остальное в test.
avatar

dt0wer

dt0wer, нужно делать множественную кросс-валидацию (stratified K-fold cross-validation) и по отклонению средних кривых ошибок смотреть на переобучение
avatar

akuloff

Интересная тема. А модель что-то знает о паттернах ТА? Или она должна сама к ним прийти путем обучения?
avatar

Dmitryy

Dmitryy, путем обучения. Что конкретно она при этом отлавливает и почему именно выдает то, что выдаёт, хз. В сущности получается чёрный ящик с несколькими проводками на входе и тремя лампочками на выходе.
avatar

dt0wer

dt0wer, тогда имхо нужно сильно больше данных, чтобы прийти к общеизвестным паттернам (это если они вообще есть :) ). И соответственно больше времени для обучения. Был бы благодарен, если будете продолжать делиться наблюдениями)
avatar

Dmitryy

Мусор на входе, мусор на выходе.
По хорошему чтобы обучить нейросеть, нужна тренировочная выборка где супер-трейдер пометит места, где нужно входить в лонг/шорт, где ставить стопы, где закрывать профит. Только вот кто-ж вам даст такие правильно размеченные данные для тренировки, и где найти супер-трейдера, этож самое ценное, а наклепать нейронку на коленке, скоро уже и дети смогут.
Только толку от этого без обучающей выборки НОЛЬ!
avatar

Sergeyka

Sergeyka, дык вся история сделок ЛЧИ за все года в открытом доступе. Чем вам не супер-сделки супер-трейдеров :)
avatar

Dmitryy

Sergeyka, спасибо, натолкнуло на одну мысль. Буду проверять).
avatar

Replikant_mih

Replikant_mih, я уже так пару алго научил))
avatar

day0markets

Sergeyka, мне такой способ не подходит.
avatar

dt0wer

Завтра буду крутить весь день — надеюсь в ходе эксперимента установить, работает ли ТА на российском рынке
Работает ли ваше понимание ТА на российском рынке.
ИМХО так правильней. 
Это можно и за один день пост понять )
avatar

VladMih

А почему бы вам в модель не задать уровень вашего стоплосса?
avatar

Denis

Когда то давно рассказывал на конфе  
play.boomstream.com/kZRkFfzv
Направление правильное.
Продолжайте двигаться в выбранном направлении, несмотря на неадекватные комментарии людей, у которых в этой теме, наверное, что-то не сложилось.
Желаю успехов. Дорогу осилит идущий.
avatar

_sg_


....все тэги
UPDONW