IS OOS vs. OOS IS

Навеяно постом: http://jc-trader.livejournal.com/393976.html#cutid1

— «Генетическая оптимизация производилась с 2007 до 2011 года. То есть с 1998 до 2007 out-of-sample»

— «Непонятно только почему IS проводился на относительно свежих данных, а OOS на более старых»

— «Это я сам тестировал, у меня такая манера. Все равно оптимизировать для торговли надо на свежих данных, а заодно посмотреть как было бы на старых данных OOS. От перемены мест слагаемых сумма не меняется :)»

Заставило задуматься что все таки лучше? Приведу некоторые аргументы в пользу каждого из методов:

IS OOS: Проверяя оптимизированные параметры на свежих данных мы получаем некоторое представление о боеспособности параметров на более свежем участке и возможно типе рынка.

OOS IS: Оптимизируя на более свежих данных мы какбы более плотно приспосабливаемся к новой рыночной фазе проверяя имела ли место такая неэффективность в прошлом.

Есть еще третий вариант проверки живучести системы называемый кросс-валидация, который сочетает в себе оба метода, но о нем не сегодня.

Дисскас.

оптимизация проверка системы торговые системы

Marsel Tazetdinov

172

3 193

с 16 января 2011

19 Комментариев

Игорь (ФСБ рулит)
24 августа 2012, 12:33
от системы зависит. Если она трендовая и долгосрочная то лучше IS OOS, если краткосрочная и контр трендовая, то наоборот.
0
Тимофей Мартынов
24 августа 2012, 12:37
По-моему, без разницы. Все равно точные результаты исторических тестов никогда в будущем не повторятся. Если уж выявили какой-то статистический перевес на ВСЕМ участке IS+OOS, значит оно, действительно, СУЩЕСТВОВАЛО. А как будет дальше, это уже на свой страх и риск. Такое мое интуитивное мнение :)
0
- Игорь (ФСБ рулит)
  24 августа 2012, 12:41
  Юрий Иванович, Система, если она построена на неэффективности, должна работать более менее, на всем спектре параметров. Когда у меня был грааль, его параметры были сформулированы мгновенно на этапе его разработки, поэтому ничего оптимизировать не пришлось, начальные параметры оказались самыми лучшими.
  0
  - Тимофей Мартынов
    24 августа 2012, 12:43
    Eagle, да, система должна работать на широком спектре параметров — это обязательное условие. Согласен.
    0
- Игорь (ФСБ рулит)
  24 августа 2012, 12:44
  Юрий Иванович, Все хотел спросить, как та первая система ваша, результаты которой вы выставили на пауке, которую все критиковал нео, просто там было такая туча страниц, что было сложно все прочитать? Она рабочая оказалась? (про триллионы помню вас подкалывали :))
  0
  - Тимофей Мартынов
    24 августа 2012, 12:52
    Eagle, в системе оказалось подглядывание в будущее. Ближе к концу обсуждения, на одной из последних страниц было указано. Я ее только несколько дней торговал.
    0
MrDrJOKER
24 августа 2012, 12:43
а что это за система там у JC?
0
l-way
24 августа 2012, 13:24
3 периода. OSS IS OSS
например 2010-2011 — IS — относительно свежие данные
2007-2009 OSS — проверка как работала очень давно
2012 IS — проверка последних результатов
0
- l-way
  24 августа 2012, 13:29
  l-way, или другой вариант
  если система рабочая, то будет работать на разном наборе параметров
  поэтому запускаем оптимальные наборы для разных фаз или просто по годам. сразу несколько вариантов
  0
siva
24 августа 2012, 13:25
А чего тут дискассить?
Кто-нибудь смотрел первоисточник?
Паренек включил расходы на комиссии и вот что получил:

Тему можно закрывать.
0
- siva
  24 августа 2012, 13:26
  Станислав Иванов,
  jc-trader.livejournal.com/393976.html?thread=5325816#t5325816
  0
  - FDAX
    24 августа 2012, 14:08
    Станислав Иванов, паренька в будущем, можно смело называть дядя Юра :)
    +2
    - Marsel Tazetdinov
      24 августа 2012, 14:12
      System Error, ахахах +1
      +2
    - siva
      24 августа 2012, 14:15
      System Error, хорошо.
      0
- Marsel Tazetdinov
  24 августа 2012, 13:33
  Станислав Иванов, а причем тут сама система? вопрос в том как оптимизировать, а не то что получилось
  0
  - FDAX
    24 августа 2012, 14:18
    Марсель Тазетдинов, здесь больше наверно филосовский вопрос про оптимизацию и отношение к ней :)
    
    Я больше наверно ищу те параметры которые работают на разных фазах и соответственно почиму они меняются…
    0
    - FDAX
      24 августа 2012, 14:20
      System Error, наверно самый главный вопрос ПОЧИМу оно там было такое а здесь поменялось и что с ним возможно станет в будущем :)
      0
  - _sg_
    24 августа 2012, 14:19
    Марсель Тазетдинов, А вот товарищ Талеб саказал, что вообще оптимизировать ничего не надо. Да и товарищ Орел (Eagle) косвенно это подтверждает (цитата от Eagle: «Когда у меня был грааль, его параметры были сформулированы мгновенно на этапе его разработки, поэтому ничего оптимизировать не пришлось, начальные параметры оказались самыми лучшими»). Да и я, считаю, что от оптимизации толку никакого нет. Так что ответ на Ваш вопрос «Заставило задуматься что все таки лучше?» следующий: Любая оптимизация это плохо.
    0
barabas
24 августа 2012, 16:19
Я здесь вижу два вопроса, смешанных в один.
По поводу проверки — оба метода являются частным случаем кросс-валидации, и по сравнению с ней никаких преимуществ не имеют. Так что и дискассить-то не о чем :)
А оптимизация вообще самообман, ведущий к сливу. Оптимизировать есть смысл лишь для более точной подстройки параметров, которые должны изначально работать и без оптимизации.
Для системы главное — устойчивость, а не прибыльность. Вот оптимизировать по устойчивости я бы не отказался, но таких методов наверное не существует в природе ))))
0