Блог им. Marcello

Вопрос про OOS

Про Out-Of-Sample скорее всего все слышали, так что расписывать суть не буду, а сразу перейду к вопросу.

Предположим, есть система с двумя параметрами на дневках, которая на периоде с 01.01.2008 по 01.01.2015 дает определенную доходность, но сделок всего чуть более 400 со средним периодом удержания позиции чуть более 3 дней. Получается, что в год примерно 57 сделок, или 1 в неделю. Если методом OOS разбивать весь период на 3+1, т.е. тестировать на 3 годах и потом OOS на 1 годе, то получится 4 теста со смещением в 1 год. Даже если каждый OOS период не показывает слив, то эти 2 параметра все разные для каждого теста. А если выбрать диапазон пересекающихся параметров, который приемлем для всех 4 тестов, и потом из него выбрать пару параметров, то на всем периоде с 01.01.2008 по 01.01.2015 с этой парой параметров получаем плюс-минус боковик. Не совсем понятно, в чем преимущество OOS в данном случае? Или итоговый результат «плюс-минус боковик» говорит о том, что система в любом случае переподогнана и «рыбы» тут нет?
  • Ключевые слова:
  • OOS
8 комментариев
«Или итоговый результат «плюс-минус боковик» говорит о том, что система в любом случае переподогнана и «рыбы» тут нет?»
Похоже на то, скорее всего система не система. Два параметра на дневках! Если бы всё было так просто.
Zweroboi, т.е. для дневок два параметра мало? Я думаю, что в любом случае чем параметров меньше, тем лучше, разве нет?
avatar
Marcello, параметров должно быть настолько мало, насколько это возможно, но не меньше. Всякая торговая система, явно или неявно, подразумевает наличие некоторой модели рынка, на которой она основывается. И я сильно сомневаюсь, что модель такого непростого объекта, как рынок, имеющая всего два параметра, может быть верной хотя бы в каком-то аспекте и в произвольном приближении.
Zweroboi, конечно малое число параметров не является целью. В двух словах алгоритм пытается поймать разворот, определяя смену настроения. Это к тому, что в основе лежит определенная идея.

Собственно неважно, что лежит в основе. Факт в том, что на OOS система продолжает работать видимо по инерции прошедшего периода, но единых параметров для всех периодов нет.
avatar
Marcello, очевидно. У нормальной системы параметры и логика тоже наверное не вечно живут, но всё-таки определенное продолжительное время. Месяцы. Похоже, идея ошибочна. Ловить развороты вообще стрёмное дело! )))
На основе тестирования на in-sample данных (за 3 года) выбираете оптимальные параметры системы. Затем выбранные параметры проверяете на out-of-sample данных (за последний год). Данные из out-of-sample не должны участвовать в оптимизации параметров.
avatar
Sergey Masyura, собственно я про это и писал. 3 года (08-10) подбор параметров, 1 год (11) проверка. Затем сдвигаем на 1 год вперед и снова 3 подбор (09-11), 1 (12) проверка.
avatar
«то эти 2 параметра все разные для каждого теста.» в топку
avatar

теги блога Marcello

....все тэги



UPDONW
Новый дизайн