Блог им. CloneAdm

find_Companion(["Python", "TensorFlow"])

Пока не начал, разу вопрос к уважаемой публике — что бы вы посоветовали — буду рад вашему мнению или идеям по данному вопросу.
Может кому тема ИИ в торговле уже знакома на практике? Напишите ваше мнение / идеи в комментариях!

Ищу компаньона / соратника Python, TensorFlow, AI


Итак — сейчас я занялся проектом по разработке торговой системы с использование нейронных сетей.
Хочу создать небольшое сообщество интересующихся этой темой, собственно и пишу для этого здесь.
Знаю, тут программистов не много, однако почти все, кто так или иначе занимается/интересуется трейдингом

У меня есть приличный опыт торговли, автоматизации различных процессов, программировании и разработки архитектуры высоконагруженных приложений (как с микросервисной архитектурой, так и монолитных), CI/CD (git, gitlab, docker, k8s, libux/bash)

Цели / планы:
  • Разработка концепции / архитектуры
  • Получение исторических данных / данных для обучения моделей (обучающих выборок)
  • Создание обучающей фабрики для обучение моделей и их тестирования как на исторический данных так и на реальных
  • Вопросы оптимизации /ускорения обучения
  • В перспективе — создание команды для разработки подобных вещей на заказ
Стек технологий:
  • Python (TensorFlow, Keras, PyTorch, Numpy, Pandas)
  • Docker, git, k8s
  • SQL (PostgreSQL), Redis

Формат — созваниваемся, списываемся, обсуждаем, делим зоны ответственности, поддерживаем темп команды. Если в Питере — готов встретиться (пока погода хорошая, можно шашлык/велик/сап)

В общем, если прямо — тема данной разработки мне очень интересна, однако я привык в работе думать в слух, обсуждать идеи. Короче привык работать в команде — одному как-то...

Сейчас я занят в формате пятидневка на постоянной работе, однако так как работа удалённая, да и есть «окна» — то и возможность работать над вторым проектом в течении недели имеется (а вообще рассматриваю возможность уйти на 100% в этот проект)

P.S. Если есть команды, кто уже занимается данной темой — готов влиться в вашу команду
P.P.S. Если есть интерес, но нет опыта программирования / разработки — то же готов обсудить.
★1
29 комментариев
У вас нет торговой идеи, стабильно приносящей прибыль. У вас есть лишь инструмент (программирование) подобный отвертке или молотку. Таких как вы в мире миллионы, но миллионов на бирже они не заработали.

Анализ исторических данных — тупик.

А вот «разработки подобных вещей на заказ» — это тема! «Инфоцыганство» и околорынок крайне перспективны )))
avatar
bohemian rhapsody, Полностью с вами согласен! (с первой частью)
Однако с приходом нейронок ситуация сильно изменилась — теперь мы можем создать и обучить нейросесть, используя успешный опыт опытных трейдеров, торгующих свои индивидуальные торговые стратегии.
По сути мы можем скопипастить саму торговую идею, исключительно на основании истории сделок и глубокого машинного обучения нейросетей.
В этом и суть проекта.
avatar

Андрей, для обучения нейронок нужно много данных, их столько просто нет. Так что идея по сути своей тупиковая.

Вот хорошая статья есть недавно увидел, рекомендую ознакомиться:

Why do tree-based models still outperform deep learning on tabular data?

arxiv.org/abs/2207.08815

Пафос Респектыч, Да, важный вопрос. где брать данные, достаточно качественные и достаточно объёме для обучения.
Мне думается, что тут ответов два — либо «подсматривать» их, либо генерировать :)
avatar
Андрей, да исторические данные откуда взять — это как раз не самая большая проблема. Вот например по крипте Кракен выкладывает архивы всех минуток и всех сделок, качайте на здоровье всё и сразу, потренироваться этого выше крыши хватит:

support.kraken.com/hc/en-us/articles/360047124832-Downloadable-historical-OHLCVT-Open-High-Low-Close-Volume-Trades-data
support.kraken.com/hc/en-us/articles/360047543791-Downloadable-historical-market-data-time-and-sales-

Я говорю про саму постановку задачи машинного обучения, вот это — сложно. А если вы сделаете просто что-то тривиальное, то быстро уткнётесь в микроскопический размер средней сделки, как это собственно и происходит с толпами энтузиастов.

bohemian rhapsody, 
У вас нет торговой идеи, стабильно приносящей прибыль.
А была бы, он сюда бы не писал.
У вас есть лишь инструмент (программирование) подобный отвертке или молотку.

У миллионов и отвертки нет.
Анализ исторических данных — тупик.

Как говаривал в таких случаях Иосиф Виссарионович — «У меня для Вас других данных нет...»
avatar
А была бы, он сюда бы не писал.
Synthetic, идеи есть, но выкладывать сырые идеи — так себе. А выкладывать идей. в которые ты уже вложился есть смысл только если они не работают…
avatar
 Да, действительно просто умея писать ты не напишешь историю про Гарри Поттера — тут нужна идея.
avatar

Python, TensorFlow, AI

Стек манящий, формат и идея — нет. 

У меня алго-процессы завязаны на ML плотно, интересна тема ML применительно к трейдингу, но информацией об этом мало кто делится, было бы интересно участвовать в каких-то диалогах, дискуссиях, брейнстормингах.

А тут прям целый масштабный проект и как будто бы акцент на инфраструктуру, а не на модели и профит :).

avatar
Replikant_mih, Ну, есть опыт создания серьезных бизнес-приложений, отсюда и стек...

А про профит да — действительно. Перечитал — ощущение, что мы  тут собрались не для того что бы деньги зарабатывать :)
avatar
Replikant_mih, А какой формат, или какая идея лучше бы зашла?
avatar

Андрей, Если для меня — как написал — что-то типа дискуссионного клуба). За остальных не скажу).

Периодически возникают такие попытки здесь, а-ля собираю команду, будем мутить всякое крутое в трейдинге, к сожалению судьбу дальнейшую никак не отследить, может и получается из этого что-то, может ничего не получается.

Я из своего желания что-то такое собрать уже вырос)).

Так что готов вписаться только во что-то лайтовое, без обязательств)).

avatar
Replikant_mih, Да в общем именно такой формат я предлагаю — это ни в коем случае не стартап — только пет-проект, плюс среда для общения и генерации идей

avatar
Андрей, Я импульсивно создал чат в телеге по ML в трейдинге) - https://t.me/+hV1etW5V6hw4MzRi .
avatar
 ну и плюс — да. Тут есть не только потенциальные соратники (мне нравится это слово!), но и потенциальные клиенты для разработки своей идеи.

А так как команда новая, то и денег много она просить не будет за свою работу. Но это не основная идея
avatar
Утопия.
avatar
Volahub, аргумент!
avatar
Андрей, просто надоело писать одно и тоже по сто раз. Утопия познавать аналоговую среду бинарным кодом. А как привести к одному знаменателю эти несовместимые вещи вы еще не знаете из-за отсутствия опыта. 
«А сегодня в завтрашний день не все могут смотреть. Вернее смотреть могут не только лишь все, мало кто может это делать». )
avatar
Volahub, Ну, устал и устал — это вполне понятно и нормально. Я обращаюсь к тем, кто не устал и кто еще хочет, ищет.
Это же формум, посвященный именно трейдерству — всё верно? Где еще ка не здесь задавать вопросы, пусть и кажущимся вам наивными и по 100 раз заданными
avatar
Андрей, кто писал про устал, где устал? Текст внимательно читайте.
avatar
Volahub, похоже что внимательно читать — не его сильная сторона, его конёк — думать вслух ))
 ну, из бонусов проекта — стек технологий очень востребованный. 
Моё имхо — за нейронками ближайшее будущее.
avatar
Андрей, 
Моё имхо — за нейронками ближайшее будущее.

Полностью согласен. Но есть один ньюанс. Их миллионы, но выиграет одна.

По поводу стека технологий.
Раз такой хороший стек, почему бы не создать финтех стартап? Найти спонсора. Не получится — останется ценнейший опыт.
Вот первые 320 элементарных вопросов на которые надо знать ответ:
docs.google.com/spreadsheets/u/0/d/1l7sDHJXlOaicq3LuXe3374q3qYWeQaNUTv-yYnyv0VQ/htmlview

avatar
Synthetic, Спасибо, интересно!
Не совсем по теме вопроса, если честно — но интересно!

Спонсор… зачем он мне?
Команда, компаньёны, соратники, коллеги — это то, что будет реально двигать проект. Наверное вы меня не так поняли — мне не интересно делать проект на продажу — я предлагаю сотрудничать тем, что уже в теме, или хочет присоединиться.

На счёт выиграет одна — в корне не верная позиция.
Торговля, а точнее рынок подобен океану — в нём много что создаёт волны. Тут вопрос не выигрыша или проигрыша — а создание устойчивой (плавающей) модели. Вы же согласитесь, что океанский лайнер, военный корабль и парусная яхта не будут соревноваться кто выиграет — они все будут плавать в этом океане...
P.S. Люблю искать аналогии…
avatar
Получение исторических данных / данных для обучения моделей (обучающих выборок)

Собственно вот этот вот этап — самый главный, неочевидный и ответственный. Какие будут фичи, сколько, какие таргеты, какие нужны модели, сколько есть данных, на что они похожи вообще, как распределены.

Только когда появилось более-менее ясное понимание (которое ещё неоднократно поменяется), можно переходить к выбору подходящих для задачи алгоритмов обучения и всего остального.

Так что лучше начните как положено — сначала )
Пафос Респектыч, дорогу осилит идущий, или критикующий? 
avatar
Андрей, я вам просто советую, как осиливший, а так делайте как хотите, кто же вам может запретить )
Работы на пару вечеров, если честно))
avatar

теги блога Андрей

....все тэги



UPDONW
Новый дизайн