Вечер ML на SL: нейронка для RI

Пост навеян сообщением коллеги по опасному бизнесу, который бьётся с RF, ну я наконец-то допилил свою нейронку. Тренировалась она на 5-минутках в RI, картинка с результатом тренировок в настоящий момент получается следующая:

Если грубо, то каппа это показатель, который можно трактовать как преимущество прогнозной модели в сравнении с тупым рандомом. F1 это мера, которая определяет, насколько точна модель (отсутствие ложных предсказаний) и одновременно насколько она чувствительна (кол-во пропущенных мячей). Полученные по ним значения 0.924 и >0.9 соответственно, это совершенно запредельная точность «на бумаге».
Что касается confusion matrix, то её можно трактовать как соотношение предсказаний и реальных значений. Как видно, тут тоже всё вроде бы ок, ни один шорт как лонг не был классифицирован и наоборот.

Погонял сейчас на вечёрке, но, как и следовало ожидать, на реальных биржевых данных всё оказалось далеко не так радужно:

Квадратиками помечены прогнозы (буква внутри — сам прогноз): скрипт ставит их на последнюю свечу, после которой, согласно алгоритму, предполагается сразу кидать сделку в рынок в соответствии с предсказанием. Как видно, хотя в целом направление определено верно, но будь то реальная торговля, первые трейды, отмеченные на картинке, обречены были бы вылететь по стопу.

Завтра буду крутить весь день — надеюсь в ходе эксперимента установить, работает ли ТА на российском рынке :-)