Нейросети

Есть такая CNN, сверточная сеть то бишь. На вход ей подаются картинки, на которых она учится отличать собачек от кошечек.  Меня это, относительно применения на фондовой бирже всегда привлекало.  

Сначала определимся какие рисунки подносим CNN. В качестве рисунков мы можем подать:

1. Сырые ряды: цены, обьемы, индикаторы
2. Индикаторы. То есть для каждого значения подсчитать набор тех.индикаторов и красиво оформить их в матрицу. Ведь что такое рисунок? Это всего лишь набор пикселей, каждый пиксель это значение какого то техиндикатора, чем он больше тем пиксель темней. Тут есть даже практическая реализация которой я частично и воспользовался. https://github.com/nayash/stock_cnn_blog_pub
3. Представить сырые временные ряды в другой системе координат. Например GramianAngularField, где как пишут авторы больше информации. Так блин и пишут. Набиваете в гугле GramianAngularField и выпадает куча ссылок, но мне лично больше понравилась работа иранских товарищей https://arxiv.org/pdf/1810.08923.pdf

( Читать дальше )

Основные решения были приняты ещё в июне. Робот максимально упростился. Денег ему выдано мало: 10%, но сняты все тормоза и фильтры, чтобы избежать мучавших меня пропусков хороших движений. Выключил всё нейро. Оставил просто статистику.
Остальное в облигах.

Весь июль болел от коронавируса, поэтому ничего и не думал. Выздоровел. Дальнейших планов пока нет. По стратегии задача дождаться краха. 
Просто ждать и наблюдать, организовывая денежный поток и собирая сбережения. Вложенное не трогать, новое направлять по ситуации.
Банковские депозиты упали до 3+%, что какбы намекает.
На какие-то рисковые эксперименты, вроде опционов, пока что-то и не тянет.
В такие моменты обычно начинаю заниматься технической частью, что-то ускоряю, что-то оптимизирую. Но даже в этом сейчас нет необходимости.
Всё выглядит достаточно готовым. 
Есть некоторое чувство, что тема для меня исчерпана.

В прошлом топике [1] мы разобрались с тем, что и как подавать на входы нейросети (НС). Теперь надо как-то сказать НС — «Горшочек, вари», предварительно рассказав, что конкретно и как именно надо «варить». Мыслей, в общем, нет никаких. Потому, давайте обратимся к классикам — Саймону Хайкину [2,c.33]:

Вот так вот, сразу и на первых страницах — «не могут обеспечить готовые решения», необходимо интегрировать в сложные ситемы", «относительно простые задачи, часть из которых может решаться НС». Книга конечно старая, но и наш MLP (Multilayer perceptron) в составе scikit-learn новизной не отличается. Этому MLP еще и простую, да конкретную задачу подавай, и вокруг него «сложную систему» городи. Как-то энтузиазма поубавилось.

Ладно, коли на вход нашего MLP уже подается временной ряд, пусть он нам определяет, хотя бы приблизительно, моменты входа в Лонг. А мы потом его проверим, и уточним эти моменты.
Теперь нашу НС надо как-то научить находить Лонг — показать НС как правильно и как неправильно. А мы сами-то знаем как правильно? Учителя фиговы. Это с кошечками-собачками хорошо — показывай себе, и пусть учится.
А давайте что-нибудь предположим, назовем какие-то входы в Лонг правильными, а остальные неправильными. Если мы предположили какую-нибудь ерунду, то НС просто ничему разумному не научится, и при дальнейшей проверке это быстро выяснится. А что-то предположить нам поможет интернет.
Кстати, это свойство НС, отличать фантазии от действительных закономерностей, уже вполне можно использовать для проверки каких-либо наших педположений о поведении рынка. Надо только рассказать о них НС, и она скажет, есть там что-то, с чем следует работать, или выкинуть это и забыть.
Однако, обратимся к интернету. Несколько лет назад наш коллега по несчастью занимался методами Машинного обучения (МО) с целью победить рынок. Он строил массу предикторов, подавал их на входы различных систем МО, и обучал по разметке Зиг-Зага. А что, неплохая идея, входы — лучше не придумаешь.
Вообще, если на минимуме Зиг-Зага загородить правую часть графика, как-то сомнительно, что вообще можно что-то сказать о дальнейшем движении. Да, и по ходу пьесы этот минимум будет постоянно перемещаться. Да и наш коллега долго и упорно менял предикторы и системы МО, потом все реже, реже, и вообще пропал из поля зрения. А на истории, конечно, Зиг-Заг — лепота.
Давайте сдвинем точку входа в Лонг немного вправо от минимума Зиг-Зага, где цена уже начала расти. Мы получим некую U-образную кривую цены, на которой НС хотя бы cможет построить линию регрессии. Не говорю, что это хорошая идея, но мы с помощью НС попробуем ее проверить. Что получим? — понятия не имею, я это делаю по ходу написания материала.
Разметку правильных входов для обучения можно сделать по Зиг-Загу, установив какой нибудь разумный порог от его минимума.
А разметку неправильных входов кто сделает? Опять обращаемся к [2,c.60].

( Читать дальше )

Ниже я честно описал одну из своих неудачных попыток применения нейросетей для трейдинга и привёл результат теста на истории системы для торговли на фьючерсе RI.

Разрабатываемая торговая система относится к непрерывным с фиксированным капиталом: в ней нет ни тейков, ни стопов, а есть лишь доля капитала, которая сейчас размещена в торгуемом инструменте (аллокация) и тройка предикторов. В тестах размер капитала постоянный, чтобы реинвестирование не искажало результат. Если доля равна 1, то взят лонг на весь капитал при торговле по номиналу, если доля -1, то шорт на весь капитал; для аллокации допустимы любые вещественные значения между -1 и 1.

Возьмём 15-минутный таймфрейм. Торговая система осуществляет сделки по ценам закрытия свечей. На каждой свече, за исключением самой последней свечи торговой сессии, с помощью нейросети вычисляется доля капитала под позицию, определяется, сколько контрактов должно быть в этой позиции, после чего покупается или продаётся такое число контрактов, чтобы текущая позиция превратилась в целевую.

( Читать дальше )

Всем привет.

Прошлое

Хорошее не может продолжаться вечно. Всех мучал вопрос, зачем же создав таких классных роботов на нейросетях для криптовалюты, которые реально не плохо зарабатывают, ребята шарят их бесплатно? Все строили догадки, писали что это лохотрон, инфоцигане )) и прочее… На что сами ребята прямым текстом отвечали — эта разработка для себя. В паблике она только для того, что бы те кому это тоже интересно помогли отладить систему. И я это понял сразу. И вот, как говорится, момент настал! На днях пришло письмо от ребят с текстом, что тест бета версии подходит к концу, и все новые зарегистрированные пользователи уже не получать возможность использовать режим реальной торговли. Только демо. А все те, кто зарегался до этой даты оставляют за собой право пользоваться реальной торговлей. И тут я аж брызнул от счастья...

Почему? Все просто. Я опробовал роботов, они реально что-то да умеют. Я уже стал им давать более менее серьезные обьемы для работы в реальном режиме, и профиты пошли уже очень интересные. Но, как всегда есть одно но...  Я стал видеть, что с увеличением сайза, заявки стали подвисать в стакане, а это плохо. Т.к. если не будет исполнения, то не будет денег и такой-же эквити как раньше. С маленькими сайзами до 500к На Битмексе все работало. И я подумал. Видно набежало юзверей, и теперь мы все толкаемся в стакане. Я прямо раздосадовался. И тут бах! Эта замечательная новость! Что нас, теперь, ограниченное количество. И формулировка как раз это обьясняла, что бы мы не толкались в стакане )) Вообще респект ребятам!

( Читать дальше )

Жил был трейдер, и хотел он работать мало, а получать много… Желание конечно достойное, но осуществимое ли? Стал он думку думать да у интернетов спрашивать, возможно ли чудо этакое? За компом сидеть, две кнопки нажимать, а деньги сами к тебе рекой текут…

Отвечал интернет трейдеру, что есть в мире его, технологии… Якобы сами думают, сами работают, а деньги  хозяину. Вот это да, подумал трейдер, не уж то глупость какая? Развод кроликов очередной? Нет, говорит интернет, правда такое может быть, все что тебе нужно сделать — стать хозяином этого чуда и ссылку дал, куда логин пароль регистрировать надо… Долго ли коротко ли думал трейдер, да махнул рукой… Что я мало что ли маржинколов ловил, сколько лосей перекармливал, а рискну ка я еще разок, а вось интернеты не врут… Ввел трейдер «слова» заветные и смотрит во все глаза, поверить не может.

( Читать дальше )

Всем привет.

Прошлое

Сразу к делу. Два дня назад обучил я сетку на биткоин, эквити ее мне понравилась и я поставил ее сразу на реал 500 контрактами с целями 1000$ тейк и 50$ стоп. Вот такой конфиг:

Ну и сижу, как говорится никого не трогаю… Дергаю другие сетки, настраиваю других ботов. Сегодня смотрю, выключился этот бот. Что?? Два дня прошло, лося притянул что-ли!!??  Залезаю к нему в хистори и...

( Читать дальше )

Всем привет.

Прошлое

Ндас, как бы это помягче сказать, и не забрызгать слюной с первых предложений весь монитор… Это… М… Как бы не сглазить )))))) Вобщем, как помним из прошлого, был бот NNXBT_4, на 100 конях, он достиг своей цели в 500 баксов и выключился. Его я больше не трогал, т.к. по эквити исторической решил, что дальше она не вытянет.



5.99 реальных баксов в копилочку...

Дальше был бот B_1, на 100 конях. Он тоже достиг своих 500 баксов и выключился. Но мне еквити его сети больше понравилась, и я поднял ему таргет профит до 1000 долларов и снова включил на реал дав в распоряжение 500 контрактов.

( Читать дальше )

Продолжу изучение нейросетей. Для тех кто случайно наткнулся на этот пост, но не хочет ковырять предшествующие поясняю.
  Был сгенерирована табличка в 50 тысяч строк и 103 столбцов. Один столбец это даты, еще один — таргет, который мы пытаемся предсказать (событие 1 и событие 0). 101 столбец изображают фичи, из которых 100 случайные величины от 1 до 10, а одна осмысленная (Week) принимает значение от 1 до 5. Для week от 1 до 4 равновероятно событие 1 и 2, для Week = 5 вероятность события 1 = 60%, 2 = 40%.
 «Шо за фигня аффтор?!». Фигня не фигня, а я моделирую свое виденье рынка и своего подхода к поиску рабочих стратегий. Виденье рынка предполагает что рынок рандомно блуждает значительную часть времени (в моему случаи 80% времени), а оставшееся его можно описать несколькими хорошими фичами. Ну как описать? Не на 100%, ну а где то процентов на 60. Сравните с детерминированным подходом ученых столетней давности — «если нам дать все фичи и много много вычислительных мощностей мы вам все посчитаем, с точностью в 100% и для любого мгновения времени!». Понятно что после этого появилось много других идей, нелинейная динамика к примеру, которая именно предполагает принципиальную невозможность прогнозирования, а не потому что нам чего то в данных недодали. Ну и наконец постановка задачи: у нас есть 101 фича, и нам с помощью инструментов ML надо получить такой прогноз события 1, который бы бился с заложенной нами неэффектиностью. И тут не помогут завывания нейросетей-что мы «фичи кривые заложили, на которых совершенно невозможно работать!», что «просто рынок изменился!, не имезнился мы бы огого!». Нам совершенно плевать на accuracy на трейне и даже на тесте. Мы как тот глупый учитель, который может не очень то и соображает зато у которого на клочке  бумажки записан правильный ответ, а напротив него ученик, в очечках, но у которого почему то при всех сплетнях что он в уме может перемножить трехзначные цифры, при сложения 1+1, получается то 5, то 6 то -32. Не, конечно вариант что мальчик в очечках не так уж и не прав возможен, может он считал в невклидовых метриках к примеру, или перемножать он умеет а вот что такое складывание ему просто не сказали.

( Читать дальше )

Всем привет.

Прошлое

Как помним, подсел я на боты сервиса Bipoon, а конкретно на реальную торговлю фьючерсами на крипту — биток. Боты на нейросетках. Результаты конечно меня шокировали. Но, не забываем, что на ФОРТСе тоже так было первые дни ))) поэтому, прикушу губу, что бы не раскатывалась, и буду надеяться, что это не простое везение, а действительно «адекватные» результаты. Вся надежда на то, что сервис  затачивался под крипту, и возможно, сетки более оптимизированны для нее чем для наших фьючей.

Итак!!! Решил не играться долго с демо, обучил пару сетей и сразу поставил их в боевой режим дав им по 100 контрактов XBTUSD на площадке BitMEX. Анализировал график эквити после обучения сеток. Критерии были такие: До 160 трейдов на истории. Ну и что бы эквити была больше восходящей. Первые два дня недели тыкался, расбирался с новым функционалом тейков и стопов, ребята их переделали, и теперь они применительны целиком к боту, а не как было раньше к позам. Теперь, как я понял, ты сразу выставляешь макс возможный лось и тейк боту, достигнув которого в фиксированном значении бот прекратит торговлю. Вобщем суть до дела, вчера переобучил сети и наконец стартанул. Открываю сегодня вебморду и вот что вижу!

Первый бот:

( Читать дальше )