Список проголосовавших за комментарий "Sergey Pavlov, вот это утверждение, которое любят транслировать некоторые управляющие/ресерчеры, но которое на самом деле не верно, если ресерч ведется по правилам.<br/> Т.е. если вы пробуете 100500 моделей, отбираете на IS лучшее, а потом из этого торгуете только то, что работает на OOS — то тогда да, вы имеете просто два ISа, и создаете видимость того, что делаете OOS-тестирование.<br/> <br/> Если же мы дейструем строго по правилам machine learning, т.е. на IS (возможно с дополнительным участком IS для кросс-валидации) отбираем по некоторым правилам набор моделей, которые торгуем (~ наборы параметров), а затем на OS *один раз* смотрим, как это работает, и считаем это реалистичным результатом для такого правила отбора — то я не вижу проблем. Если мы перебираем 100500 правил выбора параметров или исходных моделей — то да, снова получается просто один большой IS, без OSа.<br/> <br/> Я же вообще делаю еще хитрее, то что называется «walk forward» оптимизацией, т.е. выбираю модели (или параметры) в некотором окне, потом торгую их какое-то время на новых данных (и только результаты такой торговли считаю за эквити стратегии, т.е. без IS), потом снова пере-выбираю. Так у меня в каждый момент времени торгуется какой-то индивидуальный набор моделей, отобранный по некоторым правилам на прошлых данных, без заглядывания. Так получается довольно реалистичный OS."