Вопрос про OOS

Про Out-Of-Sample скорее всего все слышали, так что расписывать суть не буду, а сразу перейду к вопросу.

Предположим, есть система с двумя параметрами на дневках, которая на периоде с 01.01.2008 по 01.01.2015 дает определенную доходность, но сделок всего чуть более 400 со средним периодом удержания позиции чуть более 3 дней. Получается, что в год примерно 57 сделок, или 1 в неделю. Если методом OOS разбивать весь период на 3+1, т.е. тестировать на 3 годах и потом OOS на 1 годе, то получится 4 теста со смещением в 1 год. Даже если каждый OOS период не показывает слив, то эти 2 параметра все разные для каждого теста. А если выбрать диапазон пересекающихся параметров, который приемлем для всех 4 тестов, и потом из него выбрать пару параметров, то на всем периоде с 01.01.2008 по 01.01.2015 с этой парой параметров получаем плюс-минус боковик. Не совсем понятно, в чем преимущество OOS в данном случае? Или итоговый результат «плюс-минус боковик» говорит о том, что система в любом случае переподогнана и «рыбы» тут нет?

OOS

Marcello

Тольятти

1 572

с 15 октября 2012

8 Комментариев

Пафос Респектыч
03 августа 2015, 18:23
«Или итоговый результат «плюс-минус боковик» говорит о том, что система в любом случае переподогнана и «рыбы» тут нет?»
Похоже на то, скорее всего система не система. Два параметра на дневках! Если бы всё было так просто.
0
- Marcello
  03 августа 2015, 18:28
  Zweroboi, т.е. для дневок два параметра мало? Я думаю, что в любом случае чем параметров меньше, тем лучше, разве нет?
  0
  - Пафос Респектыч
    03 августа 2015, 19:37
    Marcello, параметров должно быть настолько мало, насколько это возможно, но не меньше. Всякая торговая система, явно или неявно, подразумевает наличие некоторой модели рынка, на которой она основывается. И я сильно сомневаюсь, что модель такого непростого объекта, как рынок, имеющая всего два параметра, может быть верной хотя бы в каком-то аспекте и в произвольном приближении.
    0
    - Marcello
      03 августа 2015, 19:45
      Zweroboi, конечно малое число параметров не является целью. В двух словах алгоритм пытается поймать разворот, определяя смену настроения. Это к тому, что в основе лежит определенная идея.
      
      Собственно неважно, что лежит в основе. Факт в том, что на OOS система продолжает работать видимо по инерции прошедшего периода, но единых параметров для всех периодов нет.
      0
      - Пафос Респектыч
        03 августа 2015, 21:53
        Marcello, очевидно. У нормальной системы параметры и логика тоже наверное не вечно живут, но всё-таки определенное продолжительное время. Месяцы. Похоже, идея ошибочна. Ловить развороты вообще стрёмное дело! )))
        0
Сергей Масюра
03 августа 2015, 18:55
На основе тестирования на in-sample данных (за 3 года) выбираете оптимальные параметры системы. Затем выбранные параметры проверяете на out-of-sample данных (за последний год). Данные из out-of-sample не должны участвовать в оптимизации параметров.
0
- Marcello
  03 августа 2015, 19:29
  Sergey Masyura, собственно я про это и писал. 3 года (08-10) подбор параметров, 1 год (11) проверка. Затем сдвигаем на 1 год вперед и снова 3 подбор (09-11), 1 (12) проверка.
  0
John Smith
04 августа 2015, 18:19
«то эти 2 параметра все разные для каждого теста.» в топку
0