Бэктест, который вы не разделили на две части, ничего не значит

Хороший бэктест не доказывает, что стратегия работает. Он доказывает, что нашлась комбинация параметров, дающая хороший результат на конкретном куске истории.

Между этими утверждениями лежит вся разница, и ниже разобрано пять способов её не заметить, одна процедура, которая ловит почти всё сразу, и отдельно то, что делают потом: как отличить нормальную просадку живой системы от её деградации.

Хороший бэктест это не доказательство того, что стратегия работает. Это доказательство того, что нашлась комбинация параметров, дающая хороший результат на конкретном куске истории. Между этими утверждениями лежит вся разница между работающей системой и подогнанной кривой.

Ниже пять способов получить прекрасный бэктест, не имея никакого преимущества на рынке, признаки каждого из них, и три вопроса, которые отсекают большую часть красивых презентаций. Все пять способов встречаются не только у мошенников: чаще всего это добросовестные ошибки, которые автор стратегии сам не замечает.

Возьмите любую стратегию с пятью настраиваемыми параметрами. Переберите по двадцать значений каждого. Получится три миллиона комбинаций. Среди них обязательно найдётся десяток, показывающих отличный результат на вашем куске истории, даже если сама идея стратегии не содержит никакого преимущества.

Это математическое свойство перебора, а не признак качества. Чем больше вариантов проверено, тем сильнее лучший из них подстроен под случайные особенности конкретных данных.

Как проверить. Спросите, сколько комбинаций было протестировано, прежде чем выбрали эту. Если счёт идёт на тысячи, результат почти наверняка содержит существенную долю подгонки.

Признак в самих цифрах. Устойчивая стратегия показывает плавную зону работоспособности: соседние настройки дают похожий результат. Если система отлично работает при периоде индикатора 14 и разваливается при 13 и 15, найдена не закономерность, а совпадение.

Самая коварная ошибка, потому что возникает незаметно и даёт феноменальные результаты. Типичные проявления. Решение о входе принимается по цене закрытия бара, а исполняется по цене открытия того же бара. Индикатор считается по всему массиву данных сразу, включая будущие значения. Список торгуемых инструментов составлен по тем, кто хорошо себя показал за весь период.

Отдельно стоит упомянуть, что при внутридневном моделировании порядок событий внутри бара неизвестен. Если в одном баре сработали и стоп, и тейк, модель должна выбирать худший сценарий. Выбор лучшего даёт систематическое завышение результата, которое на дистанции превращается в фантастику.

Как проверить. Спросите, как обрабатывается ситуация, когда внутри одного бара цена задела и стоп, и цель. Правильный ответ: считаем, что первым сработал стоп. Любой другой ответ означает завышение.

Тестирование делается на инструментах, которые существуют сегодня. Те, что делистились, обанкротились или обнулились, в выборку не попадают просто потому, что их нет в базе данных.

В криптовалютах эффект особенно силён: за любые три года десятки монет исчезают из обращения. Стратегия, протестированная на текущем списке, автоматически получает выборку победителей.

Как проверить. Спросите, включены ли в тест инструменты, которые за период были делистингованы. Честный ответ обычно звучит так: нет, у нас нет по ним данных. Это нормально, но должно учитываться в оценке результата.

Комиссия, проскальзывание, фандинг. Каждая из трёх мелочей по отдельности выглядит несущественной, вместе они переворачивают результат.

Стратегия, совершающая сорок сделок в месяц, платит комиссию восемьдесят раз за вход и выход. При ставке 0,05% это 4% депозита в месяц только на комиссии, а на объёме с плечом кратно больше. Прибавьте проскальзывание в одну-две десятых процента на сделку, и от заявленной доходности остаётся половина.

Фандинг на бессрочных фьючерсах списывается каждые восемь часов и на длинном удержании становится значимой статьёй.

Как проверить. Спросите, какая ставка комиссии заложена в расчёт и учтено ли проскальзывание. Если ответ содержит нулевые издержки или комиссию ниже реальной биржевой, результат надо делить.

Стратегия, проверенная на 2023 и 2024 годах, не проверена вообще. Она не встречалась с затяжным падением, с обвалом ликвидности, с остановкой торгов.

Это не абстракция. Одна и та же конфигурация может показывать уверенный плюс на выборке последних двух лет и полностью терять счёт на выборке, включающей медвежий период. Разница не в качестве стратегии, а в том, что во второй выборке есть режим рынка, которого в первой не было.

Как проверить. Назовите конкретные даты рыночных обвалов и попросите показать поведение стратегии именно в эти дни. Если период тестирования их не покрывает, стресс-тест не проводился.

Главная проверка: разделение выборки

Всё вышеперечисленное сводится к одной процедуре, которая ловит большинство проблем сразу.

Данные делятся на две части. На первой стратегия настраивается: подбираются параметры, отбираются инструменты, определяются правила. Вторую часть модель не видит вообще. После того как настройка завершена и заморожена, стратегия прогоняется на второй части.

Разрыв между результатами и есть мера подгонки.

Как читать результат:

Процедура называется тестированием вне выборки, и её отсутствие это главный признак того, что перед вами не проверенная стратегия, а красиво оформленный перебор.

Три вопроса к любому бэктесту

Первый: на каком периоде подбирались параметры и на каком проверялись. Если ответ «на всём доступном», проверки вне выборки не было.

Второй: какие издержки заложены. Конкретные цифры комиссии и проскальзывания, а не слова «учтено».

Третий: что было со стратегией в дни рыночных обвалов. Даты называете вы, а не управляющий.

Три ответа занимают пять минут и отсекают большую часть материалов, которые выглядят убедительно.

Даже если все пять ловушек обойдены, остаётся принципиальное ограничение: бэктест показывает, как стратегия вела бы себя в прошлом, при условии что её исполнение было бы идеальным.

В реальности добавляются вещи, которых в модели нет. Задержки исполнения. Отказ биржи в момент пиковой нагрузки. Изменение правил площадки. Уход ликвидности из инструмента. Каждое из них не смертельно по отдельности, но их совокупность объясняет, почему живой результат почти всегда скромнее модельного.

Практическое следствие: разумно ожидать, что реальная доходность окажется ниже бэктеста, и планировать исходя из этого. Если стратегия остаётся привлекательной при результате вдвое хуже расчётного, с ней можно работать. Если её привлекательность держится ровно на модельных цифрах, запас прочности отсутствует.

Бэктест это необходимое, но не достаточное условие. Он отвечает на вопрос, есть ли у идеи хоть какое-то основание. Он не отвечает на вопрос, будет ли работать конкретный счёт.

Поэтому вес бэктеста в решении должен быть ниже веса живого трека. Год реальной торговли содержит больше информации, чем пять лет истории, даже если цифры в истории красивее: живой результат включает всё то, чего модель не видит.

И самое короткое правило: если у стратегии есть только бэктест и нет живого трека, это не стратегия, а гипотеза. Гипотеза может быть верной, но и размер вложения в неё должен соответствовать этому статусу.

Допустим, бэктест честный и система запущена. Дальше начинается вторая половина задачи, которая на бэктесте не решается вообще: понять, когда просадка нормальна, а когда система перестала быть той, которую вы тестировали.

Стратегию останавливают не тогда, когда больно, а тогда, когда она перестала работать так, как задумана. Это разные события, и совпадают они далеко не всегда: глубокая просадка при исправной механике это норма, а отклонение от модели при растущем счёте это повод для разбора.

Ниже два списка признаков, по которым различаются эти случаи, отдельный разбор ситуации, когда стратегия зарабатывает не оттуда, откуда должна, и чек-лист из восьми вопросов, который проходят по расписанию, а не по самочувствию.

Нет. Бывают ситуации, когда стратегию нужно останавливать, и умение отличить их от обычной просадки стоит дороже любой доходности.

Разница проходит по одной линии: работает ли стратегия так, как задумана.

Признаки нормальной просадки

Логика входа продолжает выполняться. Сигналы приходят те же, что и раньше, с той же частотой.

Стопы срабатывают там, где должны. Размер позиции соответствует правилам. Проскальзывание в пределах обычного.

Убытки по величине сопоставимы с историческими. Глубина просадки укладывается в диапазон, который уже случался раньше.

Рынок просто находится в неблагоприятном для этого подхода режиме. Трендовая стратегия в затяжном боковике будет терять, и это не поломка, а её нормальное поведение в неподходящей среде.

Такую просадку пережидают.

Признаки деградации стратегии

Торговля отклоняется от модели. Сделки открываются там, где по правилам их быть не должно, или не открываются там, где должны. Это может быть ошибка в исполнении, сбой в данных или ручное вмешательство.

Исполнение критически ухудшилось. Проскальзывание выросло в разы, заявки не исполняются по расчётным ценам, ликвидность инструмента упала. Стратегия, рассчитанная на определённую глубину рынка, в более тонком рынке перестаёт быть той же самой стратегией.

Убытки выходят за исторический диапазон. Не «глубже, чем хотелось бы», а глубже всего, что случалось на всей проверенной истории. Это сигнал о том, что реальность вышла за границы модели.

Изменилась среда, на которой строилось преимущество. Ушёл источник неэффективности, поменялась структура рынка, изменились правила биржи или комиссии. Стратегия, зарабатывавшая на разнице между площадками, перестаёт работать, когда появляются те, кто делает то же самое быстрее.

Такую ситуацию останавливают и разбирают, независимо от текущего результата.

Самая коварная ситуация выглядит так: счёт в плюсе, но плюс приходит не оттуда, откуда должен.

Например, стратегия задумана как трендовая, а весь результат за квартал получен из нескольких случайных сделок в боковике, тогда как трендовые сигналы дали минус. Формально всё хорошо. Фактически модель не работает, а результат случаен.

Такое обнаруживается только при разборе структуры прибыли, а не итогового числа. Поэтому в регулярную проверку стоит включать вопрос: соответствует ли источник прибыли заявленной логике.

Если счёт в плюсе по причинам, которые никто не может объяснить, это ровно такой же повод для разбора, как и необъяснимый минус. Просто он приятнее и потому чаще  игнорируется.

Ощущение всегда говорит одно и то же: останови сейчас, когда больно. Список задаёт другие вопросы, на которые есть фактические ответы.

Проверка занимает полчаса и требует данных, а не настроения. Если все пункты первой колонки выполняются, вы находитесь в нормальной просадке, какой бы неприятной она ни была. Если появились пункты второй, разбираться нужно немедленно, даже если счёт пока в плюсе.

Полезно проводить эту проверку по расписанию, а не по самочувствию. Раз в месяц, независимо от того, растёт счёт или падает. Тогда список становится рабочим инструментом, а не последней инстанцией в момент паники.

Подходы, основанные на импульсе и следовании тренду, имеют серьёзную академическую базу, а не только историю успешных запусков.

Работа Джегадиша и Титмана 1993 года показала устойчивость моментум-эффекта на американских акциях за десятилетия данных: бумаги, показавшие лучший результат за предыдущие месяцы, продолжали опережать рынок в последующие. Эффект оказался статистически устойчивым и не объяснялся известными факторами риска.

Последующие исследования, включая большой массив работ AQR, подтвердили эффект на разных рынках, разных классах активов и разных периодах. Отдельные работы прослеживают его на данных, охватывающих более чем столетие, и находят на товарных рынках, валютах и облигациях, а не только в акциях.

Это не гарантия. Это означает, что просадка трендового подхода в неудачный период не является доказательством смерти подхода. Такое уже случалось много раз и заканчивалось возвратом.

Более того, у известных трендовых фондов бывали периоды слабости длиной в несколько лет. Инвесторы, выходившие в конце таких периодов, систематически пропускали последующее восстановление. Это ещё один аргумент в пользу списка признаков вместо ощущения: три года без результата психологически невыносимы, но сами по себе не являются доказательством того, что подход перестал работать.

Разница между терпением и упрямством именно в этом: терпение опирается на проверяемые признаки, упрямство на надежду.

Чек-лист из восьми вопросов перед остановкой стратегии

Перед остановкой стратегии ответьте на восемь вопросов.

Приходят ли сигналы с той же частотой, что и раньше.

Соответствуют ли открытые сделки правилам входа.

Срабатывают ли стопы на расчётных уровнях.

Осталось ли проскальзывание в историческом диапазоне.

Укладывается ли текущая просадка в глубину, которая уже случалась.

Соответствует ли источник прибыли и убытка заявленной логике.

Не изменились ли внешние условия: комиссии, правила площадки, ликвидность инструмента.

Не было ли ручных вмешательств в работу системы.

Восемь «да» означают нормальную просадку и решение ничего не менять. Появление даже одного «нет» означает разбор, и до его завершения новые деньги в стратегию не заводятся.

Не является индивидуальной инвестиционной рекомендацией. Прошлые результаты не гарантируют будущей доходности.