deep learning

Время после нового года решил провести с пользой и окунуться в машинное обучение. Заняться Machine Learning — и посмотреть получится что‑то или нет с российским рынком акций на Московской бирже.

Моей целью было построить такую систему, которая будет учиться на истории и в перспективе торговать лучше чем случайное блуждание 50/50. Но из‑за комиссий и спреда подобные блуждания изначально отрицательны — чтобы выйти в плюс надо как минимум покрывать комиссии.

Если говорить о результатах очень кратко, то технически всё работает, но вот финансовый результат на грани безубыточности.

Если Вы только интересуетесь этой темой Вы можете посмотреть какие‑то шаги в моей статье, а если Вы уже опытный разработчик подобных систем, то можете подсказать что‑нибудь в комментариях.

Причём вся эта работа выглядит совершенно не так как показывается в фильмах про уолл‑стрит: фактически это написание скриптов и монотонный запуск и всё происходит полностью локально на компьютере.

1. Классический ML, который представлен, например, библиотекой scikit-learn. Она позволяет обрабатывать данные статистически, а так же предоставляет простые модели классификации, кластеризации и регрессии. Функций этой библиотеки достаточно, чтобы несколькими строчками кода выявить наличие или отсутствие зависимостей/корреляций в данных, разбить данные на кластера и выполнить другие типовые задачи, в том числе, препроцессинг данных (предварительную обработку) — стандартизацию, нормализацию, очистку и т.п. Кроме того, её можно использовать для уменьшения размерности, что может пригодиться, например, для выявления значимых метрик торговых стратегий для дальнейшей фильтрации и отбора по существенным. И это только одна библиотека, а их теперь существует множество.

На фоне текущего роста портфель обновил максимум и взял отметку в 70 млн рублей.

По совпадению я как раз завершил постепенный процесс увеличения перечня анализируемых акций, доведя их количество до 111 штук. На MOEX акций примерно в два раза больше, но у остальных совсем уж плохо с ликвидностью. В качестве потенциального направления развития можно добавить ETF, ДР, а в перспективе MOEX обещает и иностранные акции подвезти.

Для учета информации в нескольких валютах прийдется существенно переработать блок хранения данных. Опять же по совпадению прочитал пару книжек про Domain-driven design — руки чешутся переписать все чуть более грамотно.

Так же в последнее время прочитал множество статей про Reinforcement learning. Раньше никак не мог придуматься, как прикрутить RL к портфельной оптимизации, а тут вдруг возникло несколько идей. Надо будет поэкспериментировать, и возможно в итоге совершу закономерных шаг от DL к RL.

• Как я писал в предыдущем посте, компоненты работают в основном только с тренировочным и оценочным (train, eval) наборами данных
• Версия TFX 0.15 работает только с estimator API — однако говорят что в версии 0.21 ввели поддержку keras моделей без конвертирования ее в estimator, к сожалению не удалось это опробовать, так как в этой версии они сломали interactive context. Конечно, можно было бы и без него, просто все компоненты загнать в пайплайн, но хотелось, что бы и в ноутбуке все работало. 
• При использовании keras моделей, так и не разобрался как заставить работать TFMA в полную силу, а штука выглядит забавной. Если кто то в курсе, буду рад совету %).