Тестируем торговую систему. Тесты на out-of-sample.

В предыдущих постах:

• На основании первых тестов было принято решение, что торговая система в принципе жизнеспособна, хотя еще сыровата и требует доработки.

С 3 января 2011 года под эту систему выделен отдельный субсчет и ведется автоматическая торговля. Начальная сумма 123000 рублей соответствует торговле с третьим плечем комплектом: 1fRTS + 5fGAZR + 5fLKOH + 11fSBRF. Результаты реальной торговли можно посмотреть на моем аккаунте.
_____________________________________________________

ТЕСТЫ НА OUT-OF-SAMPLE.

Теперь попробуем проверить ее робастность. Под робастностью в статистике понимают нечувствительность к различным отклонениям и неоднородностям в выборке, связанным с теми или иными, в общем случае неизвестными, причинами. Другими словами, будет ли система показывать результаты полученные при тестировании на исторических данных в будущем. Обычно это делается так. Система оптимизируется на одном временном периоде, а тестируется на другом. И если интересующие нас характеристики системы не сильно изменились при переходе на участок истории отличный от того на котором мы оптимизировали систему (out-of-sample), то устойчивость системы признается удовлетворительной.

Я использую «приведенную» для удобства сравнения и формирования портфеля годичную историю по 4-м тикерам. Для тестов данные разбиваются на два портфеля, sample1 и sample2 следующим образом:








Данные максимально «перемешаны». Проведем оптимизацию на портфеле sample1 и с полученными оптимизационными параметрами протестируем портфель sample2. Сравним показатели. И наоборот.
Были получены следующие данные:
Видим, что на участках out-of-sample показатели ухудшились. Но, на мой взгляд, не катастрофически. Кроме того, оптимизационные параметры на портфеле sample1, sample2 и на всем портфеле отличаются незначительно. Трехмерная поверхность описывающая зависимость Recovery factor от пары параметров не имеет резких шипов и провалов.

На мой взгляд можно продолжить работы по модернизации этой системы.