Проверка устойчивости торговой системы. Часть 1. Что и как тестировать

Первая часть перевода главы книги Перри Кауфмана, посвященной вопросу проверики торговой системы на устойчивость.

Perry J. Kaufman — Smarter Trading: Improving Performance in Changing Markets (McGraw-Hill, Inc.).
Chapter 10: «Testing forRobustness»

Торговую систему можно назвать надежной, если она сохраняет прибыльность в различных обстоятельствах. Особенно хорошим признаком может стать тот факт, что система остается работоспособной в условиях, заметно отличающихся от условий тестирования. Например, в условиях повышенной волатильности при обновлении максимумов цен.
Многие трейдеры полагают, что торговые системы не работают из-за недостаточной скорости их компьютеров. В сочетании с программами для статистического анализа и тестирования стратегий компьютер представляет собой мощный инструмент, превративший перебор и симуляцию тысяч торговых правил в чрезвычайно простое занятие. Советники по конструированию торговых систем, бесчисленные индикаторы и возможность программировать собственные правила часто втягивают начинающих трейдеров в  хаотичный и бессмысленный процесс бесконечного тестирования. В конце концов, компьютер работает все больше, а пользы извлекается все меньше. Часто это приводит к тому, что полученная торговая система демонстрирует на тестах блестящие показатели, но терпит полный крах в реальной торговле.

Переподгонка
Торговая система, которая была разработана таким образом, что способна сохранять эффективность только на определенном отрезке исторических данных, называется переподогнанной. Каждый трейдер, который занимается разработкой торговых систем, использует прошлые данные для проверки своих идей. Было бы крайне безответственно просто составить набор правил для совершения сделок, открыть брокерский счет и начать торговать, даже не узнав, работали ли эти правила в прошлом. Прошлая эффективность системы и ее просадки могут стать ориентиром для определения размеров торгового счета, необходимого для безопасной торговли и достижения целевого уровня прибыли. Внимательное изучение результатов тестирования на исторических данных часто позволяет выявить слабые места торговой системы. Иногда для уменьшения рискованности торговли достаточно включить в свою стратегию всего одно простое правило. Например:
— необходимо сокращать объем открываемых позиций по мере того, как растет волатильность рынка.
Дальнейший анализ может привести к разработке других правил:
— необходимо закрыть все позиции, если индекс S&P упал за три дня более чем на 1500 пунктов. Или
— необходимо закрыть все длинные позиции в пятницу, если индекс S&P упал более чем на 10% за прошлую неделю
От глобальной и вполне логичной идеи контролировать риски торговой системы мы пришли к набору очень специфичных правил, способных предотвратить одну или две проблемы, случившиеся в прошлом. Когда же  эта разумная и объективная мысль превратилась в субъективные манипуляции над историческими данными? Ответ на этот вопрос очень редко лежит на поверхности.
В этой главе мы будем считать параметры системы устойчивыми, если ее эффективность не зависит от узкого диапазона значений. Прибыльная торговая система, использующая 10-ти дневную скользящую среднюю, не должна использоваться, если аналогичные системы с 8-ми или 12-ти дневной средней терпят убытки. Лучшей системой нужно признать такую систему, которая сохраняет высокие показатели на широком наборе параметров, включая такие как скорость тренда, закрытие убыточных позиций, ориентиры по прибыли на сделку и различные фильтры. Трейдер получит более надежную стратегию, если почти любой набор параметров из допустимого диапазона окажется прибыльным.
Как отделить (определить) устойчивые параметры при тестировании
Существует четкая разница между «правильностью» торговой системы и возможностью использовать ее для  прибыльного трейдинга. Тесты на исторических данных могут проверить адекватность идеи и показать, какие параметры и переменные оказались в прошлом наиболее эффективными. Но такое тестирование еще не означает, что параметры, которые были в прошлом самыми прибыльными, покажут в будущем такую же высокую результативность. И как, например, выбрать лучший параметр, если на исторических тестах несколько параметров показали похожие результаты?
Всестороннее тестирование торговой системы, часто называемое оптимизацией, в некоторых случаях приводит к положительным результатам, в некоторых — к убыточным. Полученная в итоге тестов прибыль показывает, что система не лишена смысла и обладает некоторым статистическим преимуществом. Чем больше протестированных параметров окажутся прибыльными, тем с большей уверенностью можно говорить о том, что трейдеру удалось найти значимую ценовую закономерность. Однако эффективные в прошлом параметры далеко не всегда способны приносить прибыль в будущем во время реальной торговли. Способность разработчика заранее определить, какой набор параметров окажется в дальнейшем прибыльным, является самостоятельной задачей, отличающейся, по сути, от проблемы формулировки непосредственно торговых правил для открытия и закрытия позиций.
Большая часть этой главы посвящена тому, как разработать надежную торговую систему с устойчивыми параметрами; чем более здравая идея будет лежать в ее основе, тем меньше она будет зависеть от выбора оптимальных параметров. Можно предположить, что изначально выбранные параметры покажут среднюю результативность, поэтому нужно быть уверенным, что даже эта середина окажется хотя бы умеренно положительной.
Основы
Разработка торговой стратегии, не зависящей от значений конкретных параметров, является идеальным решением для системного трейдинга. Но это недостижимая утопия. Она полностью противоречит идее арбитражного ценообразования активов, которая позволяет зарабатывать на различных экономических и биржевых неэффективностях. Мы должны разработать алгоритм, четкое следование которому должно существенно повысить надежность и устойчивость любой торговой модели. Это будет не очень простой процесс, но его можно будет осуществлять поэтапно. Чем больше удастся выполнить, тем лучшими окажутся результаты.


Продолжение следует http://robostroy.ru/community/article.aspx?id=677