SergeyJu
SergeyJu личный блог
28 апреля 2024, 10:51

Как оценить количественно переподгонку

Мы знаем, что любую простую меру качества торговой системы можно за счет подгонки загнать высоко вверх. Беда в том, что это утверждение верно в отношении прошлого и не опрокидывается в будущее. Переподогнанные системы разваливаются при реальной торговле. С другой стороны, алготорговцы верят, что в ценах есть скрытые закономерности, которые позволяют строить устойчивые торговые системы.
Практики обычно стараются упростить свои системы, чтобы минимизировать именно ПЕРЕподгонку. В математическом смысле сокращают число степеней свободы, число параметров, по которым ведется оптимизация. Не всегда эти параметры такие очевидные, как, например, число баров в алгоритме канала Дончиана. 
Или, для примера,  при подгонке RSI мы видим уже 3 параметра — переменная сглаживания, порог перекупленности, порог перепроданности. Те, кто используют стандартные настройки, начинают играть в интерпретации, что тоже может иметь смысл подгонки, но я сейчас не об этом. 
Хочется иметь какую-то меру, которая скажет нам, вот за введение дополнительного параметра подгонки мы получим вот такой выигрыш фиктивный (ПЕРЕ...), а все что свыше нам  скажет, что мы цепанули реальную закономерность. 
Для затравки, опишу, очень грубо, модельный пример. 
Я взял дневки на американские отраслевые ЕТФ акций серии XL (XLI, XLK, XLU и так далее) в количестве 9 штук плюс SPY, MDY, DIA — ЕТФ акций, соответствующие общим индексам.  Итого 12 штук, период времени с конца 1998 года. Примерно по 6500 точек на каждой или чуть больше 25 лет истории. Три одинаковых индикатора, в каждом по 1 подбираемому параметру =порогу. 
В качестве меры качества системы — сортино. 
Если подобрать три параметра для каждого ЕТФ независимо, мы получим, что ТС даст примерно троекратный выигрыш по Сортино против исходного ряда.  Равномерно взвешенный портфель (тут уж нет подгонки) из 12 систем даст выигрыш к среднему Сортино еще в 2 раза. 
Если же я буду подбирать все 3 порога одинаковыми для всех ЕТФ, то я потеряю примерно в 1,5 раза по Сортино для каждой системы и суммарный портфель даст выигрыш по сортино против среднего не в 2 раза, как первом случае, а в 1,5 раза. 
Внимание, вопрос. 
Можно ли количественно оценить, насколько велика доля переподгонки, когда я использую раздельную настройку индикаторов и вообще, будет ли реальный выигрыш от торговли раздельно подогнанного портфеля  от портфеля с 3 общими порогами.  
82 Комментария
  • Сергей Сергаев
    28 апреля 2024, 11:07
    Переподгонка определяется простым методом — это раздельное тестирование входов и выходов. Результаты статистики поведения входов показывают средний потенциал требуемого положительного смещения цен после входов. Результаты статистики поведения выходов показывают средний положительный потенциал удержания позиции.
    Их совокупность и есть результативность алгоритма вход-выход.
     
    А вот как проводить раздельное тестирование? — это уже правильный вопрос.
  • Replikant_mih
    28 апреля 2024, 11:29
    У меня есть подобные меры — они полностью кастомные — сама логика, вычисление. Хотя, вряд ли я один такое юзаю, но у трейдеров не встречал.

    Но у меня парадигмально немного не так работает. В приведенном же контексте что имеем: исходно дурацкий флоу, которому мы не даём баловаться за счет снижения степеней свободы, дальше пытаемся оценить: а потенциал идеи, помноженный на уменьшение степеней свободы приемлемую переподгонку дают в итоге? У меня по-другому: сам флоу так работает, что переподгонка не является естественным результатом, но даже в таком флоу на выходе я делаю оценку, но скорее не на переподгонку, скорее это ближе к оценке положения на шкале случйность-закономерность.
  • Лучший ученик В...
    28 апреля 2024, 11:38

          Прямого решения тут нет, зачастую всё зависит от самих параметров подгонки, может и с одним быть переподгонка, а может и с 5-ю быть робастной системой. Как оценить тут вопрос.

            Обычно классика RSI, стандартные периоды скользяшек… идут в конец, что-то необычное(нестандартное) в приоритете, если конечно есть результат. А далее уже эмпирически гоняя системы в хвост и в гриву вырисовывается мнение об их устойчивости или хрупкости.

  • Ju
    28 апреля 2024, 12:45
    Каменный век. Никто давно не занимается подгонкой параметров стандартных индикаторов типа RSI и подобных. Это напрасная трата времени. Эти индюки усложняют, добавляя в них визуализацию трендов, поддержек и сопротивлений.
    Салтыков, вы напрасно тратите время.

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн