В поисках Грааля. Часть 2

В алготрейдинге есть простая ловушка: человек берет идею, прогоняет ее по истории, видит красивую доходность и делает вывод, что нашел рабочую стратегию. На графике все выглядит убедительно: equity растет, просадка терпимая, параметры подобраны, комиссии учтены. Кажется, можно запускать.

Проблема в том, что рынок не обязан повторять ту историю, по которой вы оптимизировались. Бэктест может показать не стратегию, а удачно подобранную иллюзию. Особенно если оптимизация шла по всей истории, параметров много, а критерий отбора был из серии «где доходность максимальная».

Сегодня вторая часть интервью с Андреем Ксеневым, партнёром и главным квантом компании Quant Hill:  как в компании смотрят на walk-forward analysis, почему чистая доходность — плохая целевая метрика, зачем нужны кластеры параметров, как из сотен ботов собирается портфель и где в системной торговле остается место человеку.

Это разговор не про «секретный индикатор» или волшебную палочку в тестировании торговых гипотез, а советы и рекомендации человека, который занимается разработкой и управлением портфелями уже больше 10 лет.

Что не так с обычным бэктестом

Вопрос: Допустим, у нас есть 10 лет данных. Мы взяли простую стратегию на пересечении скользящих, прогнали все параметры по истории и нашли вариант с 10% годовых. Почему этого недостаточно?

Ответ: Проверка на всей истории — это первый взгляд на стратегию. Она помогает понять, есть ли вообще какие-то параметры, которые зарабатывали на истории и работает ли стратегия в первом приближении.

Но если мы прооптимизировали стратегию на всей истории и потом запускаем ее на реальные деньги, велика вероятность, что результаты могут быть противоположны тем, которые были при оптимизации. Особенно, если у стратегии много параметров: ее можно переобучить и так подстроиться под исторические данные, что на новых данных она просто не сможет работать.

Поэтому бэктест отвечает только на вопрос «Было ли что-то похожее на работающую идею в прошлом?», а не на «Можно ли на этом заработать в настоящем и будущем?».

Как минимум нужно провести out-of-sample(OOS) тест — разбить историю на пару участков, на первом(in-sample) прооптимизировать стратегию, на втором(out-of-sample) проверить есть ли параметры, которые работают на данных, которые не участвовали в обучении. Но даже этого недостаточно, чтобы принять решение о робастности системы. 

Лучшим решением будет провести walk-forward анализ.

Walk-forward простыми словами

Вопрос: Тогда что делает walk-forward analysis? Почему это не просто еще один красивый тест, а ключевая история для всех, кто занимается алготрейдингом?

Ответ: Walk-Forward анализ — это попытка приблизиться к тому, как стратегия работала бы в реальности, если бы мы оказались в прошлом и каждый раз принимали решения только на основании данных, которые были доступны на тот момент.

В технической реализации walk-forward — это набор OOS тестов. Длины окон in-sample можно брать скользящие фиксированные (например, всегда оптимизируем на последних 12 месяцах) или с накоплением: например сначала оптимизируем на окне в 1 год, торгуем следующий год; потом оптимизируем уже на двух годах, торгуем третий и так далее. 

Главное, что все OOS участки потом собираются вместе. Мы получаем непрерывную equity-кривую, построенную только из тех периодов, которые для стратегии в момент выбора параметров были «неизвестным будущим». Это намного ближе к реальности, чем OOS тестирование и, тем более, чем оптимизация на всей истории.

В нашем случае Walk-Forward анализ — это не только проверка стратегии на робастность, но и проверка устойчивости методологии выбора портфеля.

Плохой участок не всегда означает, что стратегия умерла

Вопрос: А если на одном из out-of-sample окон стратегия плохо работает? Это значит, что ее надо выбрасывать?

Ответ: Нет, так как Граалей не существует. У любой стратегии будут участки, где она зарабатывает, и участки, где она теряет. Вопрос в том, что конкретно произошло.

Если результат плохой, но находится в рамках риск-профиля, то надо смотреть на рынок. Трендовая стратегия будет плохо себя чувствовать во флэте, контртрендовая — в сильном направленном движении. Магии здесь нет, хотя на Youtube часто попадается что-то из разряда стратегий со 100% винрейтом.

Важно не просто сказать «стратегия в минусе». Важно понять, соответствует ли этот минус тому поведению, которое мы ожидали от стратегии в таком рынке.

Но, если стратегия превышает допустимый риск-профиль или, тем более, получает margin call, то это серьезный сигнал, возможно лучше от нее отказаться — никто же не хочет ликвидации своего реального счета.

Деградация стратегии: когда надо волноваться

Вопрос: Мой знакомый купил торгового бота, который зарабатывал 2 месяца или около, а потом слил всё в 0. Собственно, вопрос от него: стратегия запущена, какое-то время показывает нормальный результат, потом уходит в убыток. Как понять: это нормальная просадка или деградация?

Ответ: Чтобы запускать стратегию, нужно заранее понимать, как она ведет себя в разных рыночных фазах, а также знать ее характеристики — риск-профиль, длительность просадки, среднегодовые доходности, экстремальные доходности, как положительные, так и отрицательные, и многие другие.

Постоянное отслеживание характеристик стратегии позволяет держать руку на пульсе и вовремя реагировать на события, выходящие за рамки нормальных.

Если стратегия получила разовый убыток больше, чем был тестовый на длинной истории, это сигнал к проверке. Но это еще не означает, что стратегия сломалась. Убыток мог быть вызван внешним фактором: регуляторным событием, проблемами биржи, человеческим фактором или техническим сбоем, недоступностью API, к примеру.

В крипте это особенно важно. В моменты крупных ликвидаций биржевые серверы часто перестают отвечать. Запросы по API могут выдавать ошибку, ордера не выставляются или не отменяются. Для контртрендовых систем это критично: в такой момент нужно закрыться или докупиться по логике стратегии или отменить ордера на усреднение, а робот физически ничего не может сделать.

Еще один важный показатель — длительность просадки. Не только глубина, но и время без обновления high-water mark. Для некоторых рынков год-полтора в просадке может быть нормальным поведением стратегии. Но, например, для крипторынка нужно делать поправку на то, что рынок молодой, и многие максимальные показатели еще только формируются.

Черный лебедь для трендовой стратегии — это не падение рынка

Вопрос: Что для трендовых стратегий является “черным лебедем”?

Ответ: Для большинства трейдеров черный лебедь — это резкое падение рынка: минус 10-20% = паника, ликвидации. Для трендовой стратегии такая ситуация — это то движение, на котором, собственно, стратегия и зарабатывает. К примеру, 10 октября 2025 года, когда в крипте была зафиксирована крупнейшая ликвидация за всю историю, наши стратегии прекрасно отработали и забрали доходность.

Для стратегий следования за трендом “черный лебедь” — это длинный участок без направленного движения. Еще хуже — расширяющийся боковик. Алгоритмы думают, что начинается тренд, заходят, рынок разворачивается, они стопятся. Потом то же самое в другую сторону. И так снова и снова. Самый свежий пример – портфель по американским акциям, который был в просадке 230 дней, а новый ХВМ переписал всего за 2 недели устойчивого роста.

То, что розничный трейдер часто воспринимает как катастрофу, для трендовой системы может быть рабочим движением. А то, что выглядит спокойным рынком, может быть самым неприятным режимом.

Кстати, наши клиенты, даже работая по 5 и более лет с нами, всё равно каждый боковик начинают переживать, как первый: очень сложно поменять тот образ мышления, который формируется в результате самостоятельного ручного трейдинга.