gars
gars личный блог
12 января 2012, 16:23

Тестируем торговую систему. Тесты на out-of-sample.

В предыдущих постах:
  • На основании первых тестов было принято решение, что торговая система в принципе жизнеспособна, хотя еще сыровата и требует доработки.
С 3 января 2011 года под эту систему выделен отдельный субсчет и ведется автоматическая торговля. Начальная сумма 123000 рублей соответствует торговле с третьим плечем комплектом: 1fRTS + 5fGAZR + 5fLKOH + 11fSBRF. Результаты реальной торговли можно посмотреть на моем аккаунте.
_____________________________________________________

ТЕСТЫ НА OUT-OF-SAMPLE.


Теперь попробуем проверить ее робастность. Под робастностью в статистике понимают нечувствительность к различным отклонениям и неоднородностям в выборке, связанным с теми или иными, в общем случае неизвестными, причинами. Другими словами, будет ли система показывать результаты полученные при тестировании на исторических данных в будущем. Обычно это делается так. Система оптимизируется на одном временном периоде, а тестируется на другом. И если интересующие нас характеристики системы не сильно изменились при переходе на участок истории отличный от того на котором мы оптимизировали систему (out-of-sample), то устойчивость системы признается удовлетворительной.

Я использую «приведенную» для удобства сравнения и формирования портфеля годичную историю по 4-м тикерам. Для тестов данные разбиваются на два портфеля, sample1 и sample2 следующим образом:








Данные максимально «перемешаны». Проведем оптимизацию на портфеле sample1 и с полученными оптимизационными параметрами протестируем портфель sample2. Сравним показатели. И наоборот.
Были получены следующие данные:
Видим, что на участках out-of-sample показатели ухудшились. Но, на мой взгляд, не катастрофически. Кроме того, оптимизационные параметры на портфеле sample1, sample2 и на всем портфеле отличаются незначительно. Трехмерная поверхность описывающая зависимость Recovery factor от пары параметров не имеет резких шипов и провалов.

На мой взгляд можно продолжить работы по модернизации этой системы.
12 Комментариев
  • CamarillaDaily
    12 января 2012, 16:30
    Ссылка «мой аккаунт» Выводит аккаунт того, кто смотрит, а не твой))))
  • Казай Мазай
    12 января 2012, 16:32
    sAmple =)
  • ИМХО… оптимизация — путь в никуда...:)
  • Илья Петров
    12 января 2012, 16:32
    Out-of-Simple конечно забавно читается, но ошибку поправьте, Онегай ишимасу. Если юмор, то ))
  • CamarillaDaily
    12 января 2012, 16:39
    И 8-й год обязательно добавь. Очень трендовый, соответственно канально-реверсные стратегии работают хуже…
  • xTestero
    12 января 2012, 20:46
    Приходит мужик к доктору. Ни слова не говоря, достает полуметровый член и кладет доктору на стол. Доктор надевает очки и исследует орган, затем снимает очки и спрашивает: — На что-то жалуетесь? — Да нет, я похвастаться пришел

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн