Блог им. dt0wer

Вечер ML на SL: нейронка для RI

    • 12 ноября 2019, 21:23
    • |
    • dt0wer
  • Еще
Пост навеян сообщением коллеги по опасному бизнесу, который бьётся с RF, ну я наконец-то допилил свою нейронку. Тренировалась она на 5-минутках в RI, картинка с результатом тренировок в настоящий момент получается следующая:
Вечер ML на SL: нейронка для RI
Если грубо, то каппа это показатель, который можно трактовать как преимущество прогнозной модели в сравнении с тупым рандомом. F1 это мера, которая определяет, насколько точна модель (отсутствие ложных предсказаний) и одновременно насколько она чувствительна (кол-во пропущенных мячей). Полученные по ним значения 0.924 и >0.9 соответственно, это совершенно запредельная точность «на бумаге».
Что касается confusion matrix, то её можно трактовать как соотношение предсказаний и реальных значений. Как видно, тут тоже всё вроде бы ок, ни один шорт как лонг не был классифицирован и наоборот.

Погонял сейчас на вечёрке, но, как и следовало ожидать, на реальных биржевых данных всё оказалось далеко не так радужно:
Вечер ML на SL: нейронка для RI
Квадратиками помечены прогнозы (буква внутри — сам прогноз): скрипт ставит их на последнюю свечу, после которой, согласно алгоритму, предполагается сразу кидать сделку в рынок в соответствии с предсказанием. Как видно, хотя в целом направление определено верно, но будь то реальная торговля, первые трейды, отмеченные на картинке, обречены были бы вылететь по стопу.

Завтра буду крутить весь день — надеюсь в ходе эксперимента установить, работает ли ТА на российском рынке :-)
★2
на мой взгляд делать предсказания на рынке по ценам неправильная идея изначально

встречал людей которые на бирже стойки покупают и включают кучу роботов для торговли в hft — они говорят что потратили кучу денег чтобы понять что предсказывать будущее не нужно
avatar
Вы хотите доказать, что нейронка отлично подходит для курвфитинга? ;)
avatar
Les Paul, никак нет. Я хочу оценить, насколько она подходит для реальных трейдов по прогнозам.
avatar
dt0wer, можно два вопроса, которые могут показаться грубыми, но таковыми не являются (можно не отвечать). сколько вам лет? програмирование для вас профильное занятие?
avatar
Les Paul, с какой целью вы интересуетесь?
avatar
dt0wer, для выбора правильной (понятной) аргументации.
avatar
Les Paul, вы можете аргументировать так, как вам удобно.
avatar
dt0wer, хорошо, так и поступлю, то что вы делаете, денег вам не принесет, но само по себе дело полезное, развивает мышление и тп.
там далее, есть еще много интересных идей и алгоритмов, один генетический алгоритм чего стоит, но это все надо пройти самому, что бы понять. удачи!

когда это все надоест или придет понимание, приходите в опционы, на пару лет еще развлечений найдете, там и увидимся. :)
avatar
Les Paul, спасибо за ваш совет, учитель. Без вас ну никак бы не разобрался.
avatar
dt0wer, видите, как важно подобрать правильную аргументацию. :D
удачи!
avatar
 Les Paul, как как … фиттинга? Ну типа да, я это и имел в виду ))
avatar

Всё это наукообразие я проделывал в 2009 году чтобы сейчас прийти к полностью ручной торговле.
История не учит ничему.
Нельзя обученную на истории сеть пускать на живые деньги.
Роботы на бирже могут быть толко HFT.
Вам конечно кажется что вы делаете что-то жутко умное, однако это всего лишь самооправдание.
Но ладно, не буду мешать набивать собственные шишки.

avatar
Simix, мне ничего не кажется сверх того, что покажет вскрытие (тесты). Совершенно не собираюсь пускать её на реальный счёт, по крайней мере до тех пор, пока не увижу стабильно положительного результата после минимум недели прогона.
avatar
Такие резалты только на train выборке могут быть. Ищите ошибку.
avatar
Ынвестор, знаю, но нет, в test только unseen data. train-test разделёны ручками, 96% в train остальное в test.
avatar
dt0wer, нужно делать множественную кросс-валидацию (stratified K-fold cross-validation) и по отклонению средних кривых ошибок смотреть на переобучение
avatar
Интересная тема. А модель что-то знает о паттернах ТА? Или она должна сама к ним прийти путем обучения?
avatar
Dmitryy, путем обучения. Что конкретно она при этом отлавливает и почему именно выдает то, что выдаёт, хз. В сущности получается чёрный ящик с несколькими проводками на входе и тремя лампочками на выходе.
avatar
dt0wer, тогда имхо нужно сильно больше данных, чтобы прийти к общеизвестным паттернам (это если они вообще есть :) ). И соответственно больше времени для обучения. Был бы благодарен, если будете продолжать делиться наблюдениями)
avatar
Мусор на входе, мусор на выходе.
По хорошему чтобы обучить нейросеть, нужна тренировочная выборка где супер-трейдер пометит места, где нужно входить в лонг/шорт, где ставить стопы, где закрывать профит. Только вот кто-ж вам даст такие правильно размеченные данные для тренировки, и где найти супер-трейдера, этож самое ценное, а наклепать нейронку на коленке, скоро уже и дети смогут.
Только толку от этого без обучающей выборки НОЛЬ!
avatar
Sergeyka, дык вся история сделок ЛЧИ за все года в открытом доступе. Чем вам не супер-сделки супер-трейдеров :)
avatar
Sergeyka, спасибо, натолкнуло на одну мысль. Буду проверять).
avatar
Replikant_mih, я уже так пару алго научил))
avatar
Sergeyka, мне такой способ не подходит.
avatar
Завтра буду крутить весь день — надеюсь в ходе эксперимента установить, работает ли ТА на российском рынке
Работает ли ваше понимание ТА на российском рынке.
ИМХО так правильней. 
Это можно и за один день пост понять )
avatar
А почему бы вам в модель не задать уровень вашего стоплосса?
avatar
Когда то давно рассказывал на конфе  
play.boomstream.com/kZRkFfzv
Направление правильное.
Продолжайте двигаться в выбранном направлении, несмотря на неадекватные комментарии людей, у которых в этой теме, наверное, что-то не сложилось.
Желаю успехов. Дорогу осилит идущий.
avatar

теги блога dt0wer

....все тэги



UPDONW