"Out-Of-Sample" - где расположить, справа или слева?

Берем этот месяц и Оптимизируем, находя соответствующее множество ProfitB с мощностью 10^3, которое является подмножеством ProfitA. Очевидно, что если расположить OOS слева аж на целый год, где была закономерность, то наша ТС для вариантов из ProfitB покажет стабильный плюс. Ну ведь круто, 1 месяц Оптимизировался, и 12 месяцев крутой плюс! Запускаем?

Кто-то скажет в такой ситуации, что в любой момент закономерность может сломаться и ТС начнет сливаться. Это утверждение верно всегда. Но мы то знаем, что закономерности никакой нет уже как месяц, а наша ТС в бэктесте показывает чудеса.

Т.е. на глухом интервале мы сделали подгонку, которая на отличном интервале показала профит. Тем самым обманулись. А произошло это из-за того, что OOS расположили слева.

Надо ли его располагать справа? Допустим мы ТС оптили на последних трех месяцах, где был отличный интервал. Слева у нас еще девять месяцев замечательного интервала, справа — один гадкий. Соответственно, слева OOS покажет плюс, справа — минус. В такой ситуации запускаем? Наверное, нет.

По такому сценарию можно очень долго самообманываться. Когда оптимизируешь ТС, результат показывает плюс на огромном OOS слева, а сливает, когда запускаешь на реале.

Берите OOS не только слева, но и справа. Walk-forward и другие методы убедить себя в своей вере специально не затрагивал.