Вопрос про OOS

03 августа 2015, 18:05
|
Marcello

Про Out-Of-Sample скорее всего все слышали, так что расписывать суть не буду, а сразу перейду к вопросу.

Предположим, есть система с двумя параметрами на дневках, которая на периоде с 01.01.2008 по 01.01.2015 дает определенную доходность, но сделок всего чуть более 400 со средним периодом удержания позиции чуть более 3 дней. Получается, что в год примерно 57 сделок, или 1 в неделю. Если методом OOS разбивать весь период на 3+1, т.е. тестировать на 3 годах и потом OOS на 1 годе, то получится 4 теста со смещением в 1 год. Даже если каждый OOS период не показывает слив, то эти 2 параметра все разные для каждого теста. А если выбрать диапазон пересекающихся параметров, который приемлем для всех 4 тестов, и потом из него выбрать пару параметров, то на всем периоде с 01.01.2008 по 01.01.2015 с этой парой параметров получаем плюс-минус боковик. Не совсем понятно, в чем преимущество OOS в данном случае? Или итоговый результат «плюс-минус боковик» говорит о том, что система в любом случае переподогнана и «рыбы» тут нет?

Ключевые слова:
OOS

8 комментариев

«Или итоговый результат «плюс-минус боковик» говорит о том, что система в любом случае переподогнана и «рыбы» тут нет?»
Похоже на то, скорее всего система не система. Два параметра на дневках! Если бы всё было так просто.

Пафос Респектыч

03 августа 2015, 18:23
Ответить

Zweroboi, т.е. для дневок два параметра мало? Я думаю, что в любом случае чем параметров меньше, тем лучше, разве нет?

Marcello

03 августа 2015, 18:28
Ответить

Marcello, параметров должно быть настолько мало, насколько это возможно, но не меньше. Всякая торговая система, явно или неявно, подразумевает наличие некоторой модели рынка, на которой она основывается. И я сильно сомневаюсь, что модель такого непростого объекта, как рынок, имеющая всего два параметра, может быть верной хотя бы в каком-то аспекте и в произвольном приближении.

Пафос Респектыч

03 августа 2015, 19:37
Ответить

Zweroboi, конечно малое число параметров не является целью. В двух словах алгоритм пытается поймать разворот, определяя смену настроения. Это к тому, что в основе лежит определенная идея.

Собственно неважно, что лежит в основе. Факт в том, что на OOS система продолжает работать видимо по инерции прошедшего периода, но единых параметров для всех периодов нет.

Marcello

03 августа 2015, 19:45
Ответить

Marcello, очевидно. У нормальной системы параметры и логика тоже наверное не вечно живут, но всё-таки определенное продолжительное время. Месяцы. Похоже, идея ошибочна. Ловить развороты вообще стрёмное дело! )))

Пафос Респектыч

03 августа 2015, 21:53
Ответить

На основе тестирования на in-sample данных (за 3 года) выбираете оптимальные параметры системы. Затем выбранные параметры проверяете на out-of-sample данных (за последний год). Данные из out-of-sample не должны участвовать в оптимизации параметров.

Сергей Масюра

03 августа 2015, 18:55
Ответить

Sergey Masyura, собственно я про это и писал. 3 года (08-10) подбор параметров, 1 год (11) проверка. Затем сдвигаем на 1 год вперед и снова 3 подбор (09-11), 1 (12) проверка.

Marcello