Блог им. AleksandrBaryshnikov

Как я строю систему, которая торгует сама

Последние несколько лет я занимаюсь тем, что большинство людей считает невозможным: строю платформу, которая самостоятельно находит торговые стратегии, проверяет их на прочность и исполняет сделки — без моего участия, круглые сутки.

Не торгового бота. Не скрипта с парой индикаторов. Полноценный конвейер, который делает всё сам — от анализа сырых рыночных данных до размещения ордеров на бирже.

Расскажу, как это устроено — в общих чертах.

Идея

Классический подход к алготорговле выглядит так: придумал идею, проверил на истории, запустил. Проблема в том, что человек придумывает десятки идей, а рынок — миллионы. Большинство ручных стратегий умирают не потому что были плохими, а потому что были слишком узкими.

Моя система не придумывает стратегии. Она их ищет — методично, перебирая огромное пространство возможных комбинаций рыночных сигналов. Думайте об этом как о генетической селекции: выживают только те паттерны, которые доказали свою состоятельность не на одном инструменте, а на сотнях.

Ключевой вопрос был не «как сделать хорошую стратегию», а «как отличить настоящий паттерн от случайного совпадения».

Конвейер из шести частей

 Как я строю систему, которая торгует сама

Система состоит из шести модулей. Каждый решает ровно одну задачу и не знает ничего лишнего о соседях.

Загрузчик собирает рыночные данные и превращает сырые цены в богатый слой сигналов. Из каждой минутной свечи вырастают десятки производных величин. Некоторые из них — стандартные индикаторы, которые знает любой трейдер. Другие — мои собственные конструкции, которые отвечают на конкретный вопрос: была ли эта точка хорошим моментом для входа или нет. На этом этапе система также учится различать нормальные рыночные условия от аномальных — кризисы, шоки, нерыночные движения. Это важно позже.

Исследователь — сердце всего. Генетический алгоритм, который ищет комбинации сигналов, исторически предшествовавших прибыльным движениям. Пространство поиска огромно: сотни входных сигналов, десятки параметров управления позицией. Полный перебор невозможен. Эволюция справляется.

Верификатор задаёт главный вопрос: а работает ли найденное не только на том инструменте, где нашли? Паттерн, который хорошо смотрится на одном активе, прогоняется без изменений на сотнях других. Большинство — отсеивается. Выживает только то, что обладает универсальностью.

Селектор ранжирует выжившие стратегии. Не только по прибыли — по совокупности качеств: насколько стабильны результаты, насколько управляем риск, насколько хорошо стратегия ведёт себя именно тогда, когда рынок ведёт себя плохо.

Комбинатор собирает из отобранных стратегий портфель. Здесь важна не только индивидуальная ценность каждой системы, но и то, как они взаимодействуют друг с другом. Несколько стратегий, которые зарабатывают в разное время и на разных рынках, вместе работают значительно лучше любой из них в отдельности.

Трейдер исполняет решения в реальном времени — на двух биржах одновременно, с несколькими уровнями защиты капитала.

Главная проблема: переобучение

Если вы достаточно долго ищете паттерн в исторических данных — вы его найдёте. Проблема в том, что нашли вы, скорее всего, шум, а не закономерность.

Это называется переобучением, и в алготорговле оно убивает системы незаметно. Красивые результаты на исторических данных, провал в реальности.

Я потратил непропорционально много времени именно на борьбу с этим. В систему встроено несколько независимых механизмов, каждый из которых задаёт один и тот же вопрос разными способами: «А не выучил ли ты просто прошлое?»

Верификация на сотнях инструментов — один из них. Статистические тесты, которые штрафуют за множественное тестирование, — другой. Разделение данных на обучающую и тестовую выборку с запретом любой утечки между ними — третий. Специальная разметка стресс-периодов, чтобы случайно не найти «стратегию», которая работает только во время кризиса — четвёртый.

Ни один из этих инструментов не даёт гарантий. Вместе — дают разумную уверенность.

Масштаб

Система работает с несколькими сотнями инструментов одновременно: криптовалютные фьючерсы на Binance и рублёвые активы на Московской бирже. Исторические данные — сотни миллионов минутных свечей.

Генетический поиск запускается на кластере из нескольких десятков вычислительных узлов и занимает около недели. Результат — тысячи «паспортов» стратегий, из которых после всех фильтров в боевой портфель попадают несколько сотен.

В реальном времени система одновременно ведёт сотни виртуальных позиций, которые консолидируются в реальные ордера на бирже.

Защита капитала

Торговый модуль устроен параноидально. Семь независимых уровней контроля, каждый из которых может остановить или ограничить торговлю. Жёсткие лимиты на потери: на сделку, на инструмент, на день, на портфель целиком.

Есть «аварийный рубильник» — если дневные потери превышают определённый порог, всё останавливается немедленно и не возобновляется без ручного вмешательства.

Отдельного внимания заслуживает то, что я называю «ночным режимом»: пока я сплю, система ведёт себя значительно консервативнее — меньше входов, стопы подтянуты, лимиты ужесточены. Биржевые стоп-ордера размещаются на случай полного падения сервера. Это важно: если процесс умирает в три ночи, позиции не висят без защиты.

Зачем это вообще

Вопрос, который мне задают чаще всего.

Не потому что это просто или потому что рынок — лёгкие деньги. А потому что это честный вызов: построить систему, которая умнее тебя в принятии конкретных решений. Которая не устаёт, не паникует, не влюбляется в убыточную позицию.

И потому что это красиво — когда сложная машина работает сама.

5.9К | ★11
46 комментариев

Не в тот журнал написали…))

avatar
ХХХ, В Ералаш что ли? 
NOT A HAMSTER, в Спортлото))
Как скачать?
avatar
написано красиво, спору нет
avatar
А есть уже результат от Ваших изысканий? Т.е эта система(системы) зарабатывают уже  Вам деньги или это пока просто изыскания? И если зарабатывают, то если не секрет сколько получается  % в год?
Дмитрий Киреев, у него 8-ми значный депозит, сам видел
avatar
Клетчатый, вопрос не в размере депозита. А в том сколько % имеет. Ну это уже не важно.В предыдущих его постах ответ на свой вопрос увидел.
Дмитрий Киреев, сколько?
avatar
Клетчатый, в 25 году он писал от 10 до 25 % в месяц.
Дмитрий Киреев, у вечных теоретиков с очередными граалями нет времени на такие мелочи как торговля.
Просто трейдер,  ну почему? Есть же перфекционисты, которым надо, что бы минимум 99 % сделок в +  и т.д.
Дмитрий Киреев, Автор про свои изыскания и проблемы уже почти четыре пишет… вечный процесс)
avatar
karma, ну почему нет? Вроде в позапрошлом своём топике на вопрос -Сколько % в год получается, он написал — от 10 до 25 % в месяц.Может ему хочется достичь 30  -50 % в месяц? И самое главное, может ему нравится  экспериментировать, автоматизировать и т.д? Есть же фанаты своего дела?
Можно хоть один пример работающего патерна?
avatar
я придумал название для вашего проекта: кэшмашина! Берите в долю!
avatar
ИИшка писала. Синтетический текст прям бросается в глаза
avatar
Если это закодить, то выглядит очень мощным роботом. Своего рода непобедимый Скайнет на бирже!

У меня такой вопрос к алготрейдерам.

Если я торгую в ручную и у меня очень сложное понимание рынка в голове, каждый вход в сделку и выход уникален — идет анализ многих факторов и признаков и их комбинация дает невероятное количество вариантов, и по итогу такой субъективной оценке делается вход или выход из позы. В общем каждая сделка уникальна и основывается на многих часах изучения истории свеча за свечой от минутки до дневки.

Я не представляю как это можно алгоритмизировать. 
Игорь _К, 

Зачем это алгоритмизировать, когда можно создать собственный уникальный индикатор.
avatar
эксперты обсуждают строительство системы, которая торгует сама, а они спокойно сидят с салфетками на порнхабе

avatar
Если не секрет — какой % в год дает такая машина? И какова макс просадка?
avatar
Подписался.
В теме нейросетевая утопия, но автор — трейдер, пишущий по делу.

UPD оттенки достоверности.  Разница между «Строю» и «Построил»
avatar
Круто кнш, но рынок обычно такие истории быстро лечит.
текст смердит чатомгпт и ленью автора заниматься редактурой.
avatar
«И потому что это красиво — когда сложная машина работает сама.»  100%  
Talk Is Cheap Show Me the Money
avatar
И никакой конкретики?
Михаил Шардин, написано же в начале — в общих чертах. Про конкретику сказано не было
avatar
Клетчатый, понятно
Михаил Шардин,  Вы видимо не читали тоже самое у этого автора 3-4 года назад ...)
avatar
если вы разрабатываете эту систему в одиночку, вам следовало бы присудить Нобелевку по экономике… я искренне потрясен вашим интеллектом
avatar
Andrey Stepanov, тут не столько интеллект рулит, сколько настойчивость и упорство к достижению цели, т.к. объём работ колоссальный и не так легко сохранить мотивацию и не бросить всё на полпути…
avatar
Ответ — никак). Ты обычный продажник. Где твои статы на смартлабе? Слабо выложить? Знаем мы что ты давно торгуешь роботами.
Мощщщщно, продолжай )))
avatar
И тут Мальчик проснулся
avatar
скажите, а как вы к этому пришли в плане программирования? где учились, как самообучались?
avatar
bascomo, спасибо за интересный текст!

А можете пояснить что такое:

1. Статистические тесты, которые штрафуют за множественное тестирование, — другой (множественное тестирование??)
2. Разделение данных на обучающую и тестовую выборку с запретом любой утечки между ними — третий (а как может быть утечка если вы данные поделили? Не закрыли в конце интервала?)
avatar
Справки предъявите
avatar
Чушь, тут даже обсуждать нечего.
Идея очень интересная но ни кто не застрахован от ошибочных суждениях, тем более компьютер. Так что оставлять его просто самостоятельно заниматься всем этим я бы не стал.
Вот ведь странно, что компашки типа Black Rock со всеми их деньгами и возможностями не сделали подобного раньше и не перекачали себе все деньги мира, да?

И тут появляются такие статейки… кластера, генетические алгоритмы, куда деваться…
 я занимаюсь тем, что большинство людей считает невозможным

Странное заявление… где вы опрос проводили и какая выборка? После этого как то уменьшается доверие к автору

И конечно хотелось бы увидеть результаты ваших изысканий, если они есть конечно, просто про эту идею и про проблемы вы уже несколько лет пишите… 
avatar
karma, 
… Странное заявление… где вы опрос проводили и какая выборка?...

У меня тоже такой вопрос к автору.
… И конечно хотелось бы увидеть результаты ваших изысканий, если они есть конечно, просто про эту идею и про проблемы вы уже несколько лет пишите...

Судя по описанию автор больше про «шашечки» чем про «ехать». То что в посте это не является какой-то гениальной темой и подозреваю что у многих уже давно реализовано(у меня уже очень давно(без нейросетей и ИИ) и кратно лучше(если конкретно в цифрах то в плане эффективности в 800+ раз чем у автора(в прошлом его посте проводил сравнение на затраты его на облака и свои получилось 25 000 000 у него против 30 000 у меня))). Но суть не в этом а в том что трейдинг как физика есть какие-то вещи которые не меняются годами и десятилетиями и зная суть эффективность(по добыче новых эджей) стремится к нулю и разница в 800+ раз(у меня и у автора) становится не заметной весь вопрос в том пришёл ли автор к тому что даёт деньги если да то ценность всей системы почти нулевая(больше про потешить самолюбие и т.п.) т.к. какой-то сильно добавочной ценности(при наличии хорошей базы) не даёт. Тут как в физике сделали открытие и потом 500 лет ничего нового а если какие-то совсем фундаментальные вещи(типа гравитации) то миллиардами лет ничего не происходит и вряд ли произойдёт.
avatar

Читайте на SMART-LAB:
Фото
Поздно ли покупать нефть: что говорят эксперты?
С момента начала ближневосточного конфликта на сырьевых рынках начали происходить самые сильные движения за последние четыре года, а котировки...
Фото
ПАО «АПРИ» планирует размещение облигаций серии БО-002Р-14
ПАО «АПРИ» планирует размещение облигаций серии БО-002Р-14 Предварительные параметры выпуска: 🔵 Предварительная дата сбора...
Фото
Движемся вперёд уверенными темпами!
Акции ДОМ.РФ получили аналитическое покрытие от ведущих рыночных участников. Вот ключевые моменты, которые они отметили: 🟢 Альфа-Банк:...
Фото
Мой Рюкзак #65: Ставка на энергетический и продовольственный кризис из-за перекрытия проливов
Если февраль радовал стоимостных инвесторов, то март пока радует только валютных спекулянтов и миноритариев Роснефти и Совкомфлота (в совкомфлоте...

теги блога bascomo

....все тэги



UPDONW
Новый дизайн