ML

Есть такая CNN, сверточная сеть то бишь. На вход ей подаются картинки, на которых она учится отличать собачек от кошечек.  Меня это, относительно применения на фондовой бирже всегда привлекало.  

Сначала определимся какие рисунки подносим CNN. В качестве рисунков мы можем подать:

1. Сырые ряды: цены, обьемы, индикаторы
2. Индикаторы. То есть для каждого значения подсчитать набор тех.индикаторов и красиво оформить их в матрицу. Ведь что такое рисунок? Это всего лишь набор пикселей, каждый пиксель это значение какого то техиндикатора, чем он больше тем пиксель темней. Тут есть даже практическая реализация которой я частично и воспользовался. https://github.com/nayash/stock_cnn_blog_pub
3. Представить сырые временные ряды в другой системе координат. Например GramianAngularField, где как пишут авторы больше информации. Так блин и пишут. Набиваете в гугле GramianAngularField и выпадает куча ссылок, но мне лично больше понравилась работа иранских товарищей https://arxiv.org/pdf/1810.08923.pdf

Придумал интересный подход. Мож кого натолкнет на интересные идеи какие-то.

Сейчас начал торговать ML модели. С практической стороны с моделями какая сложность – там есть процесс предобработки данных – генерация признаков в основном (если с точки зрения трейдинговых данных заходить), поэтому нельзя просто сохранить модель, в другом месте загрузить и она будет работать, надо сохранить, загрузить, предобработать исходные данные к тому виду, к которому приучена модель и только тогда она будет работать. К счастью тонна сопутствующих трудозатрат убирается такой классной штукой как пайплайн – сейчас моя модель это 2 пайплайна – один для предобработки данных, другой для предикта (сама модель). Т.е. я где-то что-то рисечу, дальше автоматика упаковывает в пайплайны (2 на модель, как сказал). Все, могу кинуть эти 2 файла в папку с моделями, откуда их забирает торгующий блок и, собственно, отторговывает. Красота. Всякие мета-данные – тикер там, время удержания позиции и прочие мета-логики упаковываю или в сам пайплайн или в название файла. Красота.

Вернее так: что я увидел, обучая модели. Всякие подобные темы любят поднимать трейдеры, они отлично располагают для пространных рассуждений о рынке и жизни, а я это, можно сказать, увидел наглядно. В общем, наблюдения не что-то гениальное, мной открытое, не грааль, но я это наблюдаю.

Что я делаю:

Играюсь с моделями ML, играюсь гипер-параметрами – параметрами самих моделей непосредственно и моими какими-то входящими параметрами. Смотрю как меняются результаты в зависимости от этих параметров.

Что я увидел:

1. Где-то закономерностей объективно больше, где-то объективно меньше. Если прочесываешь график моделями (с разными параметрами) по мат. ожиданию OOS результатов совокупности моделей и по их распределению видно, что из каких-то графиков закономерности извлекаются на ура, а из каких-то со скрипом. В данном случае график это пересечение по тикер-TF-временной отрезок. Да даже если брать только тикер, некоторые, что называется, палку воткни, она зацветёт, а в некоторых надо очень постараться, чтобы нащупать нормальные закономерности.
2. Похоже, действительно легче прогнозировать на короткие интервалы. Но эта закономерность выглядит не так, как её обычно преподносят. Обычно в ходу какая-то такая версия: чем ближе, тем легче, типа на минуты легче, чем на часы и т.д. Я бы сказал, что подтверждение находит скорее следующее: чем больше отношение горизонта прогноза к длине промежутка времени, данные из которого непосредственно участвуют в прогнозе. Ну т.е. если ты принимаешь решение по 50 свечам, то на 2*50 можно прогнозировать с большей точностью (winrate), чем на 10*50 и т.д. При этом в другом контексте, например, если ты ушел на TF выше, ты эти 10*50 сможешь спрогнозировать уже с хорошей точностью.
3. Объективно раньше было зарабатывать легче. По ошибке из большого промежутка времени сначала какое-то время брал для обучения данные не самые свежие, а самые древние и удивлялся очень приличным результатам моделей, на свежих данных моделям можно сказать драматически сложнее извлекать закономерности.

«Буржуазная печать широко разрекламировала новую науку — кибернетику. Эта модная лжетеория, выдвинутая группкой американских «учёных», претендует на решение всех стержневых научных проблем и на спасение человечества от всех социальных бедствий. Кибернетическое поветрие пошло по разнообразным отраслям знания: физиологии, психологии, социологии, психиатрии, лингвистике и др. По утверждению кибернетиков, поводом к созданию их лженауки послужило сходство между мозгом человека и современными сложными машинами.»

Обычно человек ходит по колее, но иногда система сбоит и случаются «эмм, а чё я раньше не задумывался, что можно…» и «хм, а ведь можно попробовать сделать…». В такие моменты можно выскакивать за пределы колеи и переходить в новую более интересную, выходить из зоны болотного комфорта в зону воодушевляющего дискомфорта.


Всегда ходил по колее (вернее, замкнутому циклу): математика не моё, у меня много своих преимуществ, математик не в их числе, не всем дано. И к нему прицеплялось: машинное обучение, нейронные сети, статистика и тер.вер. требуют математики – ну, значит, тоже не мое, ну значит без этого. А тут че-то осенило: а какого хрена!? Кстати, тот случай когда реклама сподвигла (назойливая реклама курсов обучения по Data Science). Сначала отмахивался, а в какой-то момент подумал: а почему бы и нет? – Да, страшно, да лень, да не уверен, что получится, да долго, да нет уверенности, что поможет и т.д. Хорошо подумал, уверенным движением руки смахнул все эти иррациональные возражения и страхи со стола и записался на курс.

Так что скоро, надеюсь, например, не буду просто пролистывать посты уважаемого А.Г., а, возможно, буду извлекать смысл.

Кстати, уже только при прочтении программы курса словил пару инсайтов применительно к фин. рынкам.

Глаза загорелись. Будет интересно.

Если вы опытный бэкендер и интересуетесь машинным обучением, мы будем рады с вами пообщаться. Наши эксперты по компьютерному зрению, обработке естественного языка, речевым технология и рекомендательным системам помогут вам окунуться в решение перспективных задач и развиваться 
в интересном направлении. 

Мы приглашаем бэкенд-разработчиков, которые уже приобрели достаточно опыта и точно знают, что в своих компетенциях им нужно сдвигаться в сторону ML, получить практические навыки — а не навыки учёного — в решении промышленных задач машинного обучения.