Александр Брут
Александр Брут личный блог
Сегодня в 08:23

🤖 [🉐] PBO: как определить, действительно ли торговая стратегия работает или её просто подогнали под историю?

🤖 [🉐] PBO: как определить, действительно ли торговая стратегия работает или её просто подогнали под историю?

 PBO: как определить, действительно ли торговая стратегия работает или её просто подогнали под историю?

Один из самых интересных статистических методов проверки торговых алгоритмов на переоптимизацию

В алгоритмическом трейдинге существует фундаментальная проблема: создать торговую стратегию, которая показывает прибыль на исторических данных, значительно проще, чем доказать, что она сохранит своё преимущество в будущем.

Современные торговые платформы позволяют проводить тысячи оптимизаций, подбирать десятки параметров и находить комбинации с впечатляющими результатами.

Но возникает вопрос: обнаружили ли мы реальную закономерность рынка или просто нашли удачное сочетание параметров для уже известной истории?

Для исследования этой проблемы был разработан статистический подход PBO — Probability of Backtest Overfitting, или вероятность переоптимизации на исторических данных.

1. Что такое PBO?

PBO — метод оценки риска того, что стратегия, признанная лучшей на обучающих данных, покажет относительно слабые результаты на данных, которые не участвовали в выборе её параметров.

Метод получил развитие в исследованиях Дэвида Бейли, Маркоса Лопеса де Прадо и их соавторов.

Его основная идея заключается в проверке устойчивости результатов при многократном изменении обучающих и проверочных участков исторических данных.

Обычная оптимизация отвечает на вопрос:

Какие параметры обеспечили максимальную эффективность на известной истории?

PBO задаёт принципиально другой вопрос:

Как часто параметры, оказавшиеся лучшими при обучении, теряют своё преимущество при независимой проверке?

Это позволяет исследовать не только прибыльность, но и надёжность самой процедуры выбора стратегии.

2. Почему высокая прибыль на истории может вводить в заблуждение?

Предположим, исследователь создал 1000 различных вариантов торговой системы.

После тестирования он обнаружил один вариант, который показывает высокую доходность, небольшую просадку и стабильную прибыль.

На первый взгляд результат выглядит убедительно.

Однако возникает статистическая проблема.

Чем больше комбинаций проверяется, тем выше вероятность обнаружить вариант, который случайно оказался успешным именно на выбранном историческом участке.

Это явление связано с множественным тестированием и переобучением.

Даже если в данных нет устойчивой закономерности, среди тысяч испытаний могут появиться впечатляющие результаты.

Красивый график доходности сам по себе не является доказательством существования торгового преимущества.

3. Как работает PBO?

Один из наиболее известных способов оценки PBO основан на методе CSCV — Combinatorially Symmetric Cross-Validation.

Его принцип заключается в многократной проверке стратегий на различных сочетаниях исторических участков.

Например, вся история разделяется на восемь временных блоков.

Затем четыре блока выбираются для обучения, а остальные четыре используются для проверки.

Количество возможных сочетаний составляет:

C(8,4) = 70.

Для каждого из 70 разбиений выполняется следующая процедура:

  1. На обучающих блоках определяется наиболее эффективная комбинация параметров.

  2. Выбранная комбинация оценивается на проверочных блоках.

  3. Её результат сравнивается с результатами остальных комбинаций.

  4. Фиксируется относительное положение выбранной стратегии.

  5. Процедура повторяется для следующего разбиения.

В итоге исследователь получает не один форвард-тест, а целую систему перекрёстных проверок.

Это помогает оценить, насколько стабильно выбранная стратегия сохраняет своё относительное преимущество.

4. Как рассчитывается PBO?

В классическом подходе результат каждой проверки преобразуется в показатель относительного ранга.

Затем используется логит-преобразование:

λ = ln(ω / (1 − ω))

где ω — нормированный относительный ранг стратегии на проверочных данных.

Если λ меньше нуля, выбранная на обучении стратегия оказалась в нижней половине распределения результатов на проверке.

Вероятность переоптимизации определяется как доля таких случаев:

PBO = P(λ < 0)

Например, если из 70 разбиений в 14 случаях выбранная стратегия попала в нижнюю половину результатов на проверочных данных, оценка PBO составит:

14 / 70 × 100% = 20%.

Это означает, что в 20% исследованных разбиений выбор лучшей стратегии на обучающих данных приводил к результату ниже медианного на проверке.

Важно: это не вероятность финансового убытка и не точный прогноз будущей торговли.

5. Как интерпретировать результаты?

Универсальных научно установленных порогов PBO не существует, однако для ориентировочной интерпретации можно использовать следующую шкалу:

PBO Условная оценка
0–10% Низкий риск переоптимизации
10–20% Относительно благоприятный результат
20–40% Заметный риск
40–50% Высокий риск
Более 50% Серьёзные сомнения в устойчивости выбора параметров

Эта шкала не заменяет статистического анализа. Результат зависит от числа проверяемых стратегий, количества сделок, структуры исторических данных и способа формирования выборки.

Особенно важно понимать, что PBO, равный 5%, не означает 95-процентную вероятность будущей прибыли.

Он говорит о другом: в исследованных разбиениях выбор лучшей стратегии относительно редко приводил к слабому результату на проверочных данных.

6. Чем PBO отличается от обычного форвард-теста?

Классический форвард-тест предполагает разделение истории на два участка.

На первом выполняется оптимизация, на втором — независимая проверка.

Это полезный метод, но его результат может зависеть от особенностей конкретного проверочного периода.

PBO использует множество сочетаний исторических блоков, позволяя исследовать устойчивость процедуры выбора параметров.

Однако здесь есть принципиальное отличие.

Форвард-тест сохраняет естественную последовательность времени: сначала обучение, затем будущее.

CSCV использует различные комбинации блоков, поэтому часть обучающих данных может хронологически находиться позже проверочных.

Таким образом, PBO не является полной заменой настоящего форварда.

Наиболее убедительные результаты достигаются при совместном использовании нескольких независимых методов проверки.

7. PBO и Walk-Forward: конкуренты или дополнение друг к другу?

Walk-Forward Optimization предполагает последовательное перемещение обучающего и проверочного окон по истории.

Например, стратегия оптимизируется на определённом историческом участке, затем проверяется на следующем. После этого окно сдвигается, и процедура повторяется.

Такой подход лучше отражает последовательность реального применения алгоритма.

PBO исследует другой аспект — насколько часто выбор лучших параметров оказывается неустойчивым при изменении состава обучающих данных.

Поэтому методы не следует противопоставлять.

Walk-Forward помогает проверить поведение стратегии во времени.

PBO помогает оценить риск переоптимизации при выборе стратегии из множества кандидатов.

Оба метода могут обнаружить проблемы, которые останутся незаметными при обычном бэктестировании.

8. Сколько оптимизаций необходимо для PBO?

Здесь важно различать два показателя: количество вариантов стратегии и количество разбиений исторических данных.

Если история разделена на восемь блоков, CSCV предусматривает 70 комбинаций обучения и проверки.

Но для полноценного анализа необходим также достаточно разнообразный набор проверяемых стратегий.

Восемь или десять вариантов параметров могут оказаться слишком малой выборкой для содержательной оценки.

Сотни различных вариантов обычно позволяют исследовать процедуру выбора шире, но само по себе увеличение числа испытаний не гарантирует достоверности.

Особое значение имеет способ формирования вариантов.

Если анализировать только лучшие результаты генетической оптимизации, возникает дополнительное смещение выборки.

Поэтому для корректного PBO желательно сохранять результаты заранее определённого и достаточно представительного набора комбинаций.

9. Какие ограничения есть у PBO?

Даже благоприятный результат не доказывает, что стратегия будет прибыльной в будущем.

PBO не способен полностью учитывать:

  • Изменение рыночных режимов.

  • Ошибки исторических данных.

  • Недостаточное количество сделок.

  • Комиссии и фактическое проскальзывание, если они не учтены в тестах.

  • Изменение ликвидности.

  • Повторную подгонку стратегии после изучения результатов проверки.

Существует и более тонкая проблема.

Если исследователь многократно меняет торговую систему, ориентируясь на результаты PBO, то сам тест постепенно становится частью процесса оптимизации.

Это снижает независимость проверки.

Поэтому важно заранее определить методику исследования и не менять её произвольно после получения результатов.

10. Что на самом деле доказывает низкий PBO?

Низкий PBO является аргументом в пользу устойчивости процедуры выбора стратегии в рамках исследованной исторической выборки.

Но он не доказывает наличие вечной рыночной закономерности.

Даже математически убедительная стратегия может перестать работать при изменении структуры рынка.

Поэтому серьёзная проверка алгоритма должна включать несколько независимых направлений:

  • Статистическую оценку переоптимизации.

  • Последовательный Walk-Forward.

  • Проверку на ранее не использованных данных.

  • Анализ чувствительности к параметрам.

  • Учёт реальных торговых издержек.

Только совокупность этих результатов позволяет сформировать более обоснованное представление о качестве стратегии.

Заключение: PBO как защита от самообмана

Одна из главных опасностей алгоритмического трейдинга заключается в том, что исследователь способен непреднамеренно подогнать систему под исторические данные и принять полученный результат за обнаруженную рыночную закономерность.

Чем больше параметров, испытаний и вариантов стратегии, тем серьёзнее становится эта проблема.

PBO предлагает математический способ исследовать устойчивость выбора торговой системы.

Он не обещает будущую прибыль и не заменяет реальную торговлю.

Но позволяет задать один из важнейших вопросов количественного анализа:

«Если моя стратегия действительно обладает преимуществом, почему оно должно исчезать при изменении обучающей выборки?»

Именно переход от поиска максимальной исторической прибыли к исследованию устойчивости результатов является одним из ключевых признаков зрелого подхода к алгоритмической торговле.Победит тот, кто лучше проверяет гипотезы, а не тот, кто громче обещает грааль. 😁


Научная основа: Bailey, D. H., Borwein, J. M., López de Prado, M., Zhu, Q. J. — «The Probability of Backtest Overfitting», Journal of Computational Finance, 2017.

Данная публикация является личным мнением автора. Мнение владельца сайта может не совпадать с мнением автора.
1 Комментарий

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн