Блог им. DenisVo

Эксперимент: торговая система на базе глубокого обучения от начала до реальных торгов.

Всем привет,

В последнее время, все больше и больше, то тут то там, люди поднимают тему машинного обучения и нейронных сетей примениельно к торговле на рынке. На фоне всего этого, я решил начать лайв эксперемент по созданию торговой стратегии на базе нейронных сетей, ну и заодно всеже попробовать полностью tfx pipeline в домашних условиях для выкатывания моделей. :)

В общем вот видюшка для затравки



Тут немного разглагольствований и представление самой идеи в общих словах. В дальнейшем будет код в открытом доступе, вдруг кто заинтерисуется :).

зы. в видео есть русские субтитры. 

★21
Затея хорошая. Если попробуете топики оформлять текстом, а не видюшкой, есть большая вероятность, что найдете не плохую работу в этой теме. Если конечно, она вам нужна.
avatar

Андрей К

Андрей К, Вы имеете ввиду работу, как работу за которую деньги платят? )
Боюсь что менять область деятельности, мне уже поздно. Так что это вроде как хобби.
avatar

Denis

Denis, да нее. По голосу точно не поздно =))
avatar

Андрей К

Denis, ты что иностранный агент? Куда ты нас завлекаешь?
avatar

Technotrade

На удвиление только сегодня подумал а не использовать ли нейроночки для трейдинга.

БКс вроде как размечал данные и обсчитывал их, но не зна спомощью нейронок или еще как.

avatar

Sergei

Пишите ещё и почаще.
Видимо, инфопространство заразилось одной общей болезнью недавно.

 

Пока тема у меня не остыла в сердце буду посматривать за топиками.
Глядишь, и Вам какая-то обратная связь полезная получится.
Может даже пуш реквест в джите… чем черт не шутит?.. =D

avatar

ch5oh

ch5oh, :) да сама идея давно в воздухе витает, и тут как раз что то все вокруг про аи заговорили… кто знает, вдруг выгорит :) хотя я скептик по натуре 
avatar

Denis

Denis, на моей памяти нейронки тестят раз в третий... 
avatar

ves2010

ves2010, это просто по ходу жанр такой )
ves2010, Да я и сам уж сколько читал и тестов повидал ), но думаю пора и свой подход опробовать 
avatar

Denis

ves2010, в тыщу триста тридцать третий… у меня есть книжка некоего голландца на эту тему еще из 90-х. Некоего русского 2012 года издания. В Kaggle конкурсы. Кванты имеют зарплаты в инвестизбах... 
Но потестить — не вредно!
avatar

SergeyJu

ch5oh, занимаетесь этим? есть подвижки? самому хотца, но вообще нет времени. Уверен, к чему нибудь бы пришел
avatar

Андрей К

Андрей К, это как ветрянка. Заразился — теперь интересуюсь темой.
Априорное настроение — крайний скепсис.


Но дьявол в деталях.
avatar

ch5oh

урааааа! даешь! вперед на танки !!
приветствую этот смелый эксперимент
Андрей Л. (Гуру Хренов), на самом деле хочется начать с мелких шажков, хотя имееются некоторые идеи как можно попробовать более интересно и необычно сгенерить фичи… но время покажет :)
avatar

Denis

Denis, да уж, feature engineering можно заниматься бесконечно
Андрей Л. (Гуру Хренов), кстати откуда будете грузить исторические данные для обучения?
Андрей Л. (Гуру Хренов), именно для этого проекта, назовем его так :), думаю взять с кибота, у них есть вроде как бесплатный пример тиковых данных, одного инструмента. Потому как своих у меня пока мало... 
avatar

Denis

Denis, данные вообще не вопрос. Для хорошего дела можно и нагенерировать сколько надо. =)


Какие рынки будут в фокусе? Меня лично фьючерсы на Мосбирже интересуют. В крайнем случае акции на ней же.
avatar

ch5oh

ch5oh, америка акции… может опционы еще, но это если дело сдвинется в положительную сторону )
avatar

Denis

Denis, Вы правда думаете, что там Вас кто-то ждет, чтобы отгрузить легких денег?..

 

В общем, будем на связи. Посмотрим куда Вы сможете продвинуться. Сетки — они и в Африке сетки. А к какому инструменту их применить — уже дело личных предпочтений и вычислительных возможностей. =)

avatar

ch5oh

ch5oh, про легкие деньги то речи и нет :)
avatar

Denis

Denis, взять какую-то нейронку, как-то поучить на тиках, использовать в качестве утилити непонятно что — это в моём понимании и есть «легкие деньги». =)

 

Кстати, что Вы собираетесь использовать в качестве целевой функции?

avatar

ch5oh

ch5oh, эх, вы как то забегаете вперед, все же планируется по науке делать :), и сперва надо посмотреть на данные, а потом уже о структуре сети подумать… и тд. 
однако у нас же классификация по 3 классам намечается, поэтому кросс энтропия подойдет, да и по дефолту лучше всего она и работает обычно.

avatar

Denis

Denis, есть подозрение, что одного инструмента для обучения не хватит



Посмотрите вот этот мой пост, мне там добрые люди ссылок накидали



И ещё вопрос — через какого брокера будете выставлять заЯвки и на каком языке писать? Я в свое время помучался, пока не нашел брокера с нормальными rest APIs



smart-lab.ru/mobile/topic/533234/
Андрей Л. (Гуру Хренов), что то линк на пост не вижу? А так я через IB работаю. Выставлять заявки не проблема.
Да, количество данных довольно важно, и в одном инструменте их не так много. План пока взять маленькие временные промежутки для прогнозов, что бы событей можно было побольше набрать.
avatar

Denis

Интересно
Жду открыты код :) это будет python? :)
avatar

shprots

shprots, в основном да, но основная идея весь фичаинженеринг загнать в тенсорфлоу.
avatar

Denis

Почему-то как только доходит дело до того, чтобы родить что-то конкретное, сериальчики заканчиваются ))
Такая просьба — осветите побыстрее, какая нейросеть используется, может быть параметры и тп.

Интересует применение капсульных нейросетей, нужны ли они вообще в трейдинге.
Словом — архитектура в общих чертах :)
avatar

shprots

shprots, по правде говоря, как написал выше, думаю подойти к вопросу постепенно, а так вполне себе rnn и cnn думаю можно использовать, насчет капсульных не знаю, никогда их не пробовал. Знаю что у них вроде только структура легче, а чем они лучше других?
avatar

Denis

Denis, я пока не знаю, мне советовали к ним приглядеться как к новому типу сетей. У них есть преимущество по точности распознавания изображений, особенно при повороте изображения. в плане трейдинга ХЗ как это применить пока. Только начал про них копать, возможно что ничем не лучше и нужно остановиться.
А так для кругозора:
m.habr.com/ru/post/417223/
avatar

shprots

Это не затравка… это пока 5 минут ниочем… =____=

Кто нибудь знаком с софтом https://try.neuroshell.com/index/

может кто юзал? там кстати есть ссылки на компании которые продают данные

avatar

Sergei

а входные данные для нейросети какие будут?
avatar

sis12qw

sis12qw, скорее всего как всегда — мусор :)

А если серьезно, то что конкретно имеете ввиду? содержание или формат?
Начнем, как я выше написал с тиковых плюс левел 1 на момент совершения сделки.
avatar

Denis

Уж сколько их было...
… никого не осталось.

Тема интересна разве что для общего развития. О практическом применении в торговле можете пока не мечтать.
avatar

Prophetic

 Как в видео правильно подмечено — шаг первый — это понимание сути бизнеса.

То есть содержится ли в потоке данных информация, позволяющая предсказать будущее и какое отношение количества этой информации к шуму?

avatar

Spekyl

Spekyl, По секрету скажу, у меня есть внутренее убеждение, что все цены в будущем зависят от ожиданий людей, а никак ни от истории, но надо же какие то доступные данные брать )
avatar

Denis

Spekyl, тут чистая угадайка за счет обьема данных где ищутся закономерности.

для других задач нейронки уже неплохо научились угадывать. интересный вопрос если у всех условно будут нейронки, то что тогда.

avatar

Sergei

Sergei, не бздите, товарищи… Нейронки суперски работают в том плане, что не просят зарплаты, не уходят к конкурентам и не бухают по неделе. А по сравнению с человеческими мозгами — пока не очень… Если вы сами не видите неэффективность на графике — нейронка его тоже не увидит.
avatar

Spekyl

Экспериме́нт (от лат. experimentum — проба, опыт) 
avatar

Владимир М.

Кстати, когда следующий ролик планируете выпустить?
avatar

ch5oh

ch5oh, хочу побыстрее, что бы весь процесс не затягивался, а то смысл разводить весь сырбор. ) Но тут уж как получится… никто ж за это денег не дает )
avatar

Denis

Denis, кстати, насчет «побыстрее».

4-5 декабря 2019 будет двухдневный курс по теме «нейросетки для трейдера». Всего 500 рублей за грааль. =)

https://red-circule.com/courses/11710?ref=fc30d4

avatar

ch5oh

давайте с простого, найди закономерность на тиковых даннных, запускайте!
avatar

iuiu

 подход с предсказанием цены не верен, но посмотреть сам процесс программирования, подготовки данных интересен
avatar

iuiu

iuiu, а какой подход «верен»?
avatar

ch5oh

ch5oh, к примеру, подсчет распределений периодически повторяющихся паттернов, все остальное игры разума, имхо.
avatar

iuiu

iuiu, мне кажется вы просто перефразировали задачу. Если я правильно понимаю вашу мысль, и мы собираемся использовать нейросети, то Вы конечно, как эксперт, можете задать патерны и обучить сеть искать эти паттерны, но в итоге вы все ровно будите пытаться угадать цену.

То, что я собираюсь попробовать, это скорее обратный процесс, задаем цену и пробуем обучить сеть находить какие-то паттерны или закономерности самой.

Можно сказать, основная работа должна проводиться с данными, как в первом, так и во втором случае. С какими именно данными, вот это вопрос %)
avatar

Denis

Denis, «задаем цену и пробуем обучить сеть находить какие-то паттерны или закономерности самой.» я в начале тоже думал, что нейросети могут что-то найти, но сдается мне, что они так не работают. И в моем случае, все-таки, о предсказании не идет речь, я считаю вероятность конкретного исхода после нахождения паттерна, куда там цена пойдет и на сколько — ХЗ и понятно, что это считается на достаточно большом кол-ве таких ситуаций (паттернов), после этого мы видим все распределения, годен паттерн или не годен или нужно еще подкрутить фильтр.
avatar

iuiu

Я вижу следующую принципиальную схему:
1. Задаются параметры выборки. Параметры(свои хотелки) выборки задаёт сам трейдер. К примеру, трейдер задаётся следующими размышлениями:«А что если найти дни, после которых рост на следующий день будет 2% от цены закрытия предыдущего дня?»
2. Далее, в автоматическом режиме, собирается выборка из тех дней, после которых рост на следующий день составил 2% и более. Сбор информации об этих днях собирается за период от 1 дня до ∞ бесконечности. Выбор периода, за который берётся анализ, зависит от трейдера.
3.Теперь у трейдера есть выборка, те дни, после которых рост составил желаемое значение, т.е. 2% и более. С этими днями надо что-то делать. Трейдер решает, если найдётся закономерность(паттерн), тот самый день, с вероятностью не менее 80%, после которого рост на следующий день составляет 2%, то буду торговать. Если же такой закономерности не найдётся, таких дней не существует, или она будет ниже 80%, начну с пункта 1., задам другие параметры.
4. Нейронная сеть находит, что такая вероятность существует, и с радостью выдаёт эти данные трейдеру.
5. Трейдер радостно получает профит по этой закономерности до тех пор, пока она существует.
avatar

rinman


Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.

Залогиниться

Зарегистрироваться
....все тэги
UPDONW