Блог им. ya-marsel

IS OOS vs. OOS IS

Навеяно постом: http://jc-trader.livejournal.com/393976.html#cutid1

— «Генетическая оптимизация производилась с 2007 до 2011 года. То есть с 1998 до 2007 out-of-sample»

— «Непонятно только почему IS проводился на относительно свежих данных, а OOS на более старых»

— «Это я сам тестировал, у меня такая манера. Все равно оптимизировать для торговли надо на свежих данных, а заодно посмотреть как было бы на старых данных OOS. От перемены мест слагаемых сумма не меняется :)»

Заставило задуматься что все таки лучше? Приведу некоторые аргументы в пользу каждого из методов:

IS OOS: Проверяя оптимизированные параметры на свежих данных мы получаем некоторое представление о боеспособности параметров на более свежем участке и возможно типе рынка.

OOS IS: Оптимизируя на более свежих данных мы какбы более плотно приспосабливаемся к новой рыночной фазе проверяя имела ли место такая неэффективность в прошлом.

Есть еще третий вариант проверки живучести системы называемый кросс-валидация, который сочетает в себе оба метода, но о нем не сегодня.

Дисскас.
★4
19 комментариев
от системы зависит. Если она трендовая и долгосрочная то лучше IS OOS, если краткосрочная и контр трендовая, то наоборот.
По-моему, без разницы. Все равно точные результаты исторических тестов никогда в будущем не повторятся. Если уж выявили какой-то статистический перевес на ВСЕМ участке IS+OOS, значит оно, действительно, СУЩЕСТВОВАЛО. А как будет дальше, это уже на свой страх и риск. Такое мое интуитивное мнение :)
Юрий Иванович, Система, если она построена на неэффективности, должна работать более менее, на всем спектре параметров. Когда у меня был грааль, его параметры были сформулированы мгновенно на этапе его разработки, поэтому ничего оптимизировать не пришлось, начальные параметры оказались самыми лучшими.
Eagle, да, система должна работать на широком спектре параметров — это обязательное условие. Согласен.
Юрий Иванович, Все хотел спросить, как та первая система ваша, результаты которой вы выставили на пауке, которую все критиковал нео, просто там было такая туча страниц, что было сложно все прочитать? Она рабочая оказалась? (про триллионы помню вас подкалывали :))
Eagle, в системе оказалось подглядывание в будущее. Ближе к концу обсуждения, на одной из последних страниц было указано. Я ее только несколько дней торговал.
а что это за система там у JC?
avatar
3 периода. OSS IS OSS
например 2010-2011 — IS — относительно свежие данные
2007-2009 OSS — проверка как работала очень давно
2012 IS — проверка последних результатов
avatar
l-way, или другой вариант
если система рабочая, то будет работать на разном наборе параметров
поэтому запускаем оптимальные наборы для разных фаз или просто по годам. сразу несколько вариантов
avatar
А чего тут дискассить?
Кто-нибудь смотрел первоисточник?
Паренек включил расходы на комиссии и вот что получил:

Тему можно закрывать.
avatar
avatar
Станислав Иванов, паренька в будущем, можно смело называть дядя Юра :)
avatar
System Error, ахахах +1
avatar
System Error, хорошо.
avatar
Станислав Иванов, а причем тут сама система? вопрос в том как оптимизировать, а не то что получилось
avatar
Марсель Тазетдинов, здесь больше наверно филосовский вопрос про оптимизацию и отношение к ней :)

Я больше наверно ищу те параметры которые работают на разных фазах и соответственно почиму они меняются…
avatar
System Error, наверно самый главный вопрос ПОЧИМу оно там было такое а здесь поменялось и что с ним возможно станет в будущем :)
avatar
Марсель Тазетдинов, А вот товарищ Талеб саказал, что вообще оптимизировать ничего не надо. Да и товарищ Орел (Eagle) косвенно это подтверждает (цитата от Eagle: «Когда у меня был грааль, его параметры были сформулированы мгновенно на этапе его разработки, поэтому ничего оптимизировать не пришлось, начальные параметры оказались самыми лучшими»). Да и я, считаю, что от оптимизации толку никакого нет. Так что ответ на Ваш вопрос «Заставило задуматься что все таки лучше?» следующий: Любая оптимизация это плохо.
avatar
Я здесь вижу два вопроса, смешанных в один.
По поводу проверки — оба метода являются частным случаем кросс-валидации, и по сравнению с ней никаких преимуществ не имеют. Так что и дискассить-то не о чем :)
А оптимизация вообще самообман, ведущий к сливу. Оптимизировать есть смысл лишь для более точной подстройки параметров, которые должны изначально работать и без оптимизации.
Для системы главное — устойчивость, а не прибыльность. Вот оптимизировать по устойчивости я бы не отказался, но таких методов наверное не существует в природе ))))
avatar

теги блога Marsel Tazetdinov

....все тэги



UPDONW
Новый дизайн