От идеи до первых сделок: разработка стратегий и сервиса робоэдвайзинга с нуля

Введение

Ребята, всем привет!

Для начала представлюсь. Меня зовут Эдуард. Я Data Scientist и AI инженер. Я занимаюсь этим с 2017 года.

Жизнь до Data Science

До 2017 года я уже тогда интересовался рынками и был квантом в Ренессанс Капитал. Я занимался маркетмейкингом валютных опционов на USD/RUB на московской бирже, строил альтернативные Блэку-Шоулзу модели ценообразования. Также помогал оценивать справедливую стоимость внебиржевых опционов, которые покупались у других инвестиционных банков. Research в количественных финансов помог мне изучить хорошо R, Python, C и стартануть карьеру в Data Science.

Ранний этап: вход в Data Science

Начинал как джун в 2017 году. Учил R и Python. Работал в компании Neolab. Строил различные алгоритмы кластеризации, классификации. В параллель строил UI-сервисы на Shiny. Интересовался рынками. Мои посты о рынке можно встретить на старом сайте long-short.

X5 Retail Group: эффект важнее моделей

С 2019 года начал делать Data Science в ритейле в X5 Retail Group. Строил алгоритмы анализа конкурентов, модели рисков, занимался A/B-тестированием, построил алгоритмы страхования для огромного автопарка X5.

Посчитали, что суммарно финансовый эффект был где-то в районе 250 млн рублей.

В этот момент я впервые очень чётко осознал одну вещь: Data Science — это не про модели. Это про эффект. И если делать DS правильно, он реально окупается. Это сильно меняет мышление.

Лента: продуктовый ML и перелом мышления

И в 2020 году я начал делать Data Science в Ленте. Моей мечтой было строить продуктовый ML. Я хотел строить алгоритмы, которые бы влияли на бизнес напрямую: на цены, ассортимент, промо.

В Ленту я уже ушёл тимлидом и возглавил в дальнейшем CORE коммерческие продукты:

• оптимизация ассортимента
• динамическое ценообразование
• оптимизация промо (uplift-моделирование)
• управление полочным пространством
• прогноз спроса

Первые алгоритмы я строил сам. Оптимизация ассортимента тогда была задачей, про которую ещё мало кто понимал, как её вообще делать. Я активно совмещал научный подход, много исследовал иностранный опыт, байесовские алгоритмы и собственные идеи и эксперименты. В итоге совместил несколько научных подходов от иностранного ритейлера.

В какой-то момент я понял, что модель ≠ ценность.

Байесовская модель может обучаться три минуты — а мне нужно спрогнозировать 10 миллионов товаров. В этот момент приходится резко упрощать и приземляться.

Байес при этом помогал — вероятностные прогнозы спроса были важны для среднесрочного горизонта прогнозирования, ассортимент быстро не двигается.

Я создал первый алгоритм на Байесе, и уже через полгода мы стартовали первый пилот на трёх гипермаркетах Ленты по ряду товарных категорий. Он показал вполне хороший результат. Дальше я продолжил это развивать.

Команда расширялась. Я стал управлять лидами. Мы запускали пилоты в промо, в ценообразовании. Количество пилотов и роллаутов было одним из моих KPI.

Последние полгода работы в Ленте я был Head of Data Science и руководил всем Data Science Ленты. Я вёл порядка 13 продуктов силами команды из ~30 человек. Это был пик моей реализации в корпоративном Data Science.

В этот момент я понял, что хочу уйти.

Не потому, что стало плохо — а потому что я хотел передать эту работу следующему поколению Data Scientist-ов, которые принесут новые идеи и смыслы. Мне не хотелось превращаться в человека, который просто поддерживает уже построенное.

Райффайзенбанк: аналитика, масштаб и AI

В 2023 году я перешёл в Райффайзенбанк, где возглавил Data Science и Data Analytics в домене Operations как Tech Lead. Причин было несколько. Я хотел сильнее работать с Data Analytics, с отчётностью, хотел банковский опыт.

В Райффайзенбанке я и сейчас и решаю множество продуктовых задач.

Например,

• оптимизация наличных в отделениях и банкоматах
• аналитика для Operations (800+ человек)
• С 2025 года активно развиваю AI-направление: строю AI-агентов, внедряю AI там, где это имеет смысл.

Также я больше двух лет преподавал Data Science и Data Analytics в Яндекс Практикуме и Школе анализа данных. Даже думал о создании своих курсов. Это помогало постоянно улучшать свои технические навыки, глубже понимать и осмыслять ML технологии, быстрее применять теорию на практике.

Возврат к рынкам и собственная инфраструктура

С 2024 года я снова начал работать с рынками — но уже с позиции накопленного технического опыта и масштаба.

Используя свой опыт, я в свободное время построил торговую и data-инфраструктуру, создал бекстовую платформу, начал делать research в количественном инвестировании. Сосредоточился на рынке США.

 Что мне удалось сделать:

• бесшовный стриминг market data по топовым акциям и ETF (США → ЕС)
• сбор фундаментальных, построение технических показателей
• сбор макроданных с FRED
• парсинг, сбор и загрузка исторических данных по новостям – API NY Times
• загрузка исторических данных и покрытие data quality проверками
• создание собственного кластера и DWH на ClickHouse
• разворачивание Airflow для ETL процессов внутри кластера
• разворачивание portainer для оркестрации Docker контейнеров – алго систем
• собственный стабильный коннектор к Interactive Brokers Gateway
• VNC инфраструктура на Linux, чтобы пускать алго к коннектору
• создание AI агентов в связке с OPEN AI API для работы с текстами и построение фичей
• построение UI сервиса с регистрацией и запуска стратегий любым пользователем
• и много – много ресерча по количественному инвестированию
• бектестовая платформа, чтобы объединять математику, ML идеи и разные подходы к инвестированию и низкогранулярно гонять тесты

 Что получилось в итоге:

Я строил собственную инфраструктуру, чтобы приобрести гибкость в разработке и тестирование идей. До этого я пробовал QuantConnect. И довольно быстро понял, что взять научную статью и нормально её имплементировать — тяжело. Огромная библиотека, часть функционала закрыта коммерчески. Месяцы и годы обучения — и ты становишься заложником того, как платформа развивается дальше.

Я начал делать много research и тестировать разные подходы к «умному инвестированию».

Сразу поставил себе жёсткие рамки:

• не использовать короткие позиции (только BUY стратегии с управлением размером позиции)
• не делать black box (стратегия объяснима, каждый может затестить)
• не использовать leverage
• не внедрять ML в трейдинг

Я, конечно, пробовал ML в рынке когда-то давно. Делал классификатор отбора акций по фундаментальным показателям. На истории всё выглядело хорошо. На практике всё ломалось — связи постоянно меняются.

В продуктовом ML это не так: покупательское поведение устойчиво и хорошо объясняется.

В рынке — нет. Для себя я сделал простой вывод: ML в рынке для меня пока не работает.

Меня интересует именно количественное инвестирование:

• поведение классов активов в разные периоды
• макроэкономические режимы (да, да они существуют уже почти 80 лет))))
• фундаментальные показатели в разных фазах рынка
• отдельной темой стала волатильность — её влияние на рост индексов и риск

Продакшен, реальные сделки и психология

Понимая, что я строю BUY ONLY алгоритм, я для себя определил ключевые метрики:

• CAGR
• Max Drawdown
• количество сделок
• Calmar Ratio
• налоги от преждевременной реализации позиции

В марте 2025 года я вывел алгоритм в PROD. Он начал торговать американскими ETF через Interactive Brokers. Сделки совершаются полностью автоматически и продолжаются с марта по текущий момент. Здесь есть много графиков и описаний как ведут себя стратегии в разные периоды. Перформанс обновляется ежедневно.

Все сделки и доходность подтверждаются брокерским отчётом IB.

В первые дни важнее всего было обеспечить стабильность автоматического execution — не доходность. Самое ироничное, что почти сразу после запуска началась торговая война. Алгоритм с этим справился. Это я расскажу отдельным постом.

В сентябре стратегия дала около +5%. Росло золото в портфеле. Хороший месяц. И при этом было ощущение аномалии. В такие моменты, на мой взгляд, самое сложное — не поддаться эйфории, не вмешиваться и не начать ломать логику стратегии.

Что я хочу от Smartlab

• Рассказывать открыто про свои стратегии, получить критику и обратную связь. За время работы в Data Science я понял, что единственный верный путь развития — обмен знаниями. Рассчитываю, что зачеленжите.
  
  
• Поделиться техническим опытом развития инфраструктуры. Буду делиться и опытом, и кодом, и технологиями, и развитием.
  
  
• Писать про релизы и ресерчи — что усиливает метрики, а что нет, и «сверять часы», туда ли я копаю с профессиональным коммьюнити.
  
  
• Я завернул сейчас всё это в удобный понятный сервис. Он пока бесплатный. Хочу собирать с коммьюнити пользовательский фидбек.

В общем, надеюсь, будет интересно.

Также я активно делюсь новостями, результатами в ТГ канале