Решил, что надо подвести какой-то профессиональный итог всей этой возни с вашим глупым алготрейдингом. И вот, что получилось.

Мои инженерные результаты:
— спроектировал и реализовал с нуля платформу алготрейдинга на C#/.NET 9 — от загрузки котировок до исполнения ордеров: 67 проектов, 77 тыс. строк кода, 773 автотеста, 28 задокументированных архитектурных решений;
— поднял пропускную способность верификации стратегий с 1-5 до 2 500 вариантов в секунду на воркер (в 500 раз), в том числе за счёт покрывающего индекса, ускорившего выборку в 525 000 раз по вводу-выводу;
— снизил пиковое потребление памяти вычислительного ядра со 117 ГБ до 2,6 ГБ (в 45 раз), сохранив побитовую идентичность результата на 33,3 млн строк;
— построил генетический поиск стратегий по ~640 бинарным признакам на 383 инструментах трёх площадок, обработав ~167 млн минутных свечей;
— развернул распределённые вычисления в Kubernetes (~12 узлов, автомасштабирование KEDA до 120 подов, scale-to-zero) и хранилище S3 + Parquet с прореживанием — экономия 97% объёма;

( Читать дальше )

User 168778149 · ИИ_просеял_пять_лет_идей_со_Смартлаба


( Читать дальше )

А у вас что?

Когда читаешь про крахи хедж-фондов, первым делом думаешь: «ну, это не про меня, у меня-то масштабы другие». И это опасная мысль. Масштабы другие, а ошибки те же самые. Плечо, которое казалось разумным. Код, который никто не проверил. Концентрация, которую приняли за уверенность.

Я собрал три истории, которые стоит держать в голове, если вы пишете торговых роботов. Не для запугивания. Для калибровки.

LTCM: когда два Нобеля не спасают от одного дефолта

В 1993 году Джон Мериуэзер, бывший вице-председатель Salomon Brothers, начал собирать команду мечты. В феврале 1994-го фонд Long-Term Capital Management начал торговать. В совете — два будущих Нобелевских лауреата по экономике: Майрон Шоулз и Роберт Мертон, авторы модели Блэка-Шоулза. Ещё Дэвид Маллинз, бывший зампред ФРС. Попробуй найди состав сильнее.

Стратегия была красивой: арбитраж на конвергенции облигаций. Покупаешь недооценённые бумаги, продаёшь переоценённые, ждёшь, пока спред схлопнется. Математика безупречная.

( Читать дальше )

Последние несколько лет я занимаюсь тем, что большинство людей считает невозможным: строю платформу, которая самостоятельно находит торговые стратегии, проверяет их на прочность и исполняет сделки — без моего участия, круглые сутки.

Не торгового бота. Не скрипта с парой индикаторов. Полноценный конвейер, который делает всё сам — от анализа сырых рыночных данных до размещения ордеров на бирже.

Расскажу, как это устроено — в общих чертах.

( Читать дальше )

Недавно я прошёл курсы по дата-инжинирингу и почти полностью переписал своё решение для алгоритмической торговли. Ключевое изменение — полный переезд в облако.

Домашние компьютеры больше не участвуют в процессе. Теперь они либо на продажу, либо на выброс.

Инфраструктура

Я арендую облачные ресурсы примерно на 25 000 ₽ в месяц. Выбрал VK Cloud — провайдеров сейчас много, но по цене они плюс-минус одинаковые.

Хранилище данных

• Свечные данные

• Параметры инструментов

• Результаты расчётов

Всё хранится в S3-совместимом объектном хранилище:

• всегда доступно;

• масштабируется бесконечно;

• стоимость — около 0.20 ₽ за 10 ГБ.

Вычисления
Все расчёты выполняются в Kubernetes-кластере:

• 10 серверов;

• на каждом — по 10 контейнеров, внутри каждого в один момент времени выполняется один расчёт или исследование;

• итого ~100 параллельных потоков.

Главный плюс — эластичность. Нужно срочно посчитать больше — добавил ещё 50 серверов в пару кликов. Не нужно — отключил.

( Читать дальше )

Iterated Distillation and Amplification (IDA) — это концепция, которая появилась в ходе эволюционирования систем машинного обучения. Например, широко известный алгоритм AlphaGo использовал, а системы обучения с подкреплением (reinforcement learning) могут использовать эту концепцию для повышения качества своей работы.

В случае ML, амплификация — это разбиение сложной задачи на более простые подзадачи, которые решаются, а потом их результаты объединяются и, таким образом, создаётся сложная модель, которая способна решать сложные задачи в различных контекстах.
Дистилляция же — это процесс создания упрощённой модели на основе сложной, но так, что качество работы этой простой модели практически не ухудшается. Она проще в смысле архитектуры: меньше в размерах, менее требовательна к ресурсам, но обеспечивает качество решения задач на уровне сложной.

Как всё это связано с трейдингом?
Хотя я создаю торговые системы с использованием генетических алгоритмов, всё равно, в каком-то смысле, это брутфорс: нужно придумать элементы стратегии (условия входов/выходов), нужно придумать их параметры, собрать из этих ингредиентов ТС, нужно просчитать каждую ТС, проанализировать результаты, ранжировать ТС по эффективности, объединить в портфель.

( Читать дальше )

Коллеги,

хочу опубликовать серию постов про код робота на MQL для МТ5 по одному из алгоритмов, которые я использую.

Будет вам такое интересно или опять похейтить придёте? :)

Работать будет примерно как на фото

Написали мне в личку, что умер один из моих подписчиков на смартлабе.

Не буду говорить избитых слов, чего-то желать ему там, за гранью — близкие уже всё пожелали.

Скажу только, что трейдинг вообще — и алготрейдинг в частности — это история, которая может стать для вас наркотиком.

Не потеряйте за ней жизнь.

Тратьте заработанное сегодня.

А завтра будет завтра.

И (алго)трейдинг — это прекрасно, особенно, если заниматься им из правильных мест :-)