Проверка устойчивости торговой системы. Оценка результатов

Переводим главу «Testing for Robustness» книги Перри Кауфмана «Smarter Trading: Improving Performance in Changing Markets», в автор рассказывает о своих методах проверки торговой системы на устойчивость. В предыдущих публикация мы говорили, о критериях устойчивости торговой системы, торговых правилилах, методике выбора данных для тестирования, теперь обсудим возможности оценки полученных результатов.


Предыдущие публикации:


Проверка устойчивости торговой системы. Введение. Что и как тестировать
 Проверка устойчивости торговой системы. Часть 1. Выбираем, что тестировать
Проверка устойчивости торговой системы. Часть 2. Выбираем, как тестировать
Проверка устойчивости торговой системы. Часть 3. Наиболее прибыльная комбинация параметров



Шаг № 13. Все ли вычисления правильны?

Прежде чем перейти к следующему шагу, сделайте паузу и убедитесь, что вы проверили все необходимые расчеты. Вы проверили вручную хотя бы несколько строк из итоговой таблицы сделок? Расчитали ли вы точные цены открытия и закрытия позиций для некоторых сделок? Совпали ли ваши вычисления с результатами работы алгоритма? Даже самые опытные разработчики иногда допускают ошибки и опечатки при программировании своих систем. Не тратьте попусту время на прогон нескольких сотен тестов без предварительной проверки кода.
Шаг № 14. Было ли совершено достаточно сделок, чтобы результаты тестов можно было признать статистически значимыми?
Согласно теории статистики стандартная ошибка определяется как 1/SQRT(число сделок). Поэтому, если во время теста было совершено всего 16 сделок, то погрешность вычислений составляет около 25%. Необходимо собрать статистику с 400 сделок, чтобы ошибка опустилась до уровня в 5%. Этот уровень обычно считается минимально допустимым, однако, на практике очень не много торговых систем совершают столько сделок. Единственным выходом станет удостовериться, что торговая система имеет под собой логическую основу и убедиться, что для оценки результатов использовано максимальное число сделок.
Шаг № 15. Является ли торговая система прибыльной при большинстве возможных комбинациях параметров?
Какова вероятность, что выбранная комбинация параметров окажется прибыльной? «Критерий лучшего выбора» составляет (средняя доходность параметров) — (одно СКО доходностей). Поскольку в пределах одного СКО от среднего сгруппированы 68% значений (при нормальном распределении), «критерий лучшего выбора» определяет нижнюю границу, выше которой расположены 84% результатов тестовых испытаний. Действительно надежные торговые системы должны демонстрировать прибыль на широком интервале параметров. Для большей уверенности в устойчивости параметров в «критерии выбора» можно использовать 2 или даже 3 стандартных отклонения, чтобы получить 97 или 99,5 доверительный интервал. Чем больше вероятность, тем надежнее параметры. Цветовая контурная карта результатов испытаний должна демонстрировать непрерывный цветовой градиент (как на предыдущем рисунке). Острые зубцы на итоговой карте результатов могут быть вызваны очень специфичным сочетанием параметров, которое сработало лишь на одном-двух тестах и не было характерно для остальных испытаний.
Шаг № 16. Улучшается ли общая эффективность при структурных изменениях в логике системы?
Только тогда можно назвать результаты устойчивыми, если при добавлении нового правила или условия растет значение «Критерия Лучшего Выбора». Выполнение этого требования гарантирует, что дополнительное правило введено в систему не под влиянием какого-то определенного события на тестовом отрезке данных, а является оправданным и общим улучшением торговой стратегии. Рост «критерия» происходит тогда, когда растет средняя прибыль всех испытаний при неизменном стандартном отклонении или, наоборот, средняя прибыль остается неизменной при уменьшении дисперсии тестовых результатов. Уменьшение стандартного отклонения означает рост надежности всего диапазона параметров и заметно облегчает выбор оптимальных значений для дальнейшей торговли. Такой случай разобран на следующем рисунке:
 
 
 
На рисунке изображен разобранный выше принцип анализа устойчивости торговых систем при помощи распределения результатов и «Критерия Лучшего Выбора». В верхней части графика рассмотрен случай, когда изменение дисперсии при неизменном среднем значении влияет на величину «Критерия». В нижней части графика изображена ситуация, когда при неизменном СКО меняется значение средней величины.
Шаг № 17. Как выбранные параметры ведут себя на вневыборочных данных?
Как минимум 10% всех доступных для тестов данных нужно исключить из этапа предварительного тестирования. Даже лучше, если 10% наиболее старых и 10% самых свежих котировок не будут использоваться при выборе оптимальных параметров. Только после того, как разработка торговой системы будет полностью завершена, нужно будет протестировать параметры отдельно на обоих отрезках исключенных ранее данных. Далее необходимо сравнить среднее значение всех тестов, проведенных на основном интервале, со среднем значением вневыборочных тестов. Безусловно, даже при самом благоприятном исходе вневыборочная прибыль окажется ниже, а риск — выше. Однако, распределение показателей должно быть схожим.
Нужно обратить особое внимание на качество параметров, если результаты вневыборочных тестов сильно отличаются от результатов, полученных на основном отрезке тестовых данных. Слабые результаты означают, что стратегия не работает. Использование критерия Хи-квадрат (смотрите главу № 11) позволяетопределить, является ли подобный провал работоспособности системы лишь неотъемлемой частью более общего долгосрочного распределения прибыли или же в, самом деле, что-то пошло не так. Вы вполне могли допустить опечатку при программировании правил или необходимых формул, но эта ошибка должна была бы быть обнаружена и исправлена еще несколько шагов назад. Или же тестовый отрезок (или вневыборочный) оказался слишком коротким, что привело к выбору ненадежных параметров или к неустойчивым результатам.
Проблема обратной связи. Если вы однажды уже использовали вневыборочный отрезок данных для проверки торговой системы, вы уже больше не можете расчитывать на эти данные. Анализ совершенных сделок и включение в стратегию дополнительных правил вполне может привести к закономерному улучшению всех показателей. Однако, вы повысили эффективность торговой системы на «неизвестных» данных и у вас больше нет способа проверить устойчивость новых параметров. Вы, конечно, можете добавить отрезок новых данных, но надежность результатов от этого все равно пострадает.
Perry J. Kaufman — Smarter Trading: Improving Performance in Changing Markets (McGraw-Hill, Inc.). Chapter 10: «Testing for Robustness»
Перевод для robostroy.ru