Леха «my-trade», спасибо

У Прадо книжка есть на русском (2019г). Там есть глава про бэктестинг и оценку результатов.

Леха «my-trade», требует регистрацию, увы

SergeyJu, Да, это можно назвать и монте карло. Только вроде наоборот — там случайные системы на реальных данных. Суть в том, что получится распределение оптимизации именно реальной системы с реальными индикаторами, а не случайной. И по нему можно сравнивать разные системы, с разным кол-вом параметров и логикой.
Будет как-раз количественная оценка подгонки — результат системы, с поправкой на случайный результат(на случайных данных, без зависимостей).

kostay_scr, в общем-то я делал что-то похожее. 
smart-lab.ru/blog/630447.php
Там же ссылка на первую часть.

А. Г., Это для вас проще)), а для меня когда вы перешли на язык математики сразу стало сложнее).

SergeyJu, в этом весь смысл. Если система даёт больше, чем тест( с оптимизацией) на случайных данных, то можно оценить, насколько больше.
Бутстрап в данном случае это повторение всей процедуры N раз, чтобы получить оценку распределения результатов оптимизации некой ТС на случайных данных.

kostay_scr, бутстреп уничтожает скрытые связи между барами. 

Может бутстрапом?
1. Сгенерировать случайное блуждание того же кол-ва баров(можно перетасовать приращения исходного ряда)
2. Оптимизировать на нём ТС
3. Посчитать и сохранить все метрики(сортино)
4. Повторить процедуру N раз, мин. 100, лучше 1000 и более
5. По результатам будет распределение значений сортино, можно посчитать дов. интервал, СКО.
Чем сильнее отличается значение сортино на раельных данных от симуляции на случайных данных, тем сильнее данная ТС.  Например, на сколько сигм далее от центра, если система с 2 параметрами 3.5 сигмы, а с 10 — 4 сигмы, то чуть лучше(но статистически не значимо).

Replikant_mih, да все проще. Если прогнозируемых точек в тесте N, а прогнозная функция имеет степень больше N. То оптимальный «прогноз» на тесте будет иметь ошибку «нуль», но и его ценность тоже нуль.

Synthetic, это доказывает только одно. Ценовые данные значимо отличаются от того, с чем обычно имеют дело NN-оптимизаторы и отойти  шаблона они не могут.
Есть, конечно, вариант маловероятный. Те, кто получили сильный результат, решили сами доить свою корову и на приз не зарятся. 

На kaggle.com периодически бывают задачки на поиск закономерностей в предложенных ценовых данных. Причем с солидным призовым фондом от какой-нибудь инвестиционной компании. Бывает так, что в этих данных нет никаких закономерностей ( что подтверждает подозрение в дефиците по настоящему умных людей в финансовых компаниях). Что и подтверждают получаемые  результаты. Но все равно у кого-то score выше на ничтожную величину и они получают приз...
А вот про матаппарат я ничего плохого не говорил.

SergeyJu, Я знаю, что не наш, я довел пример до крайности для того, чтобы он стал более «нашим».

Replikant_mih, давний)

SergeyJu, это дар 

Дед Нечипор, отходил от монитора...   )))

SergeyJu, Гудылина читал... 
Оставляет впечатление неординарной личности. Читать интересно, но в процессе ощущается привкус неадекватности, что, в общем, бывает свойственно одаренности. Но я не поверил — идея, что фракталы на разных таймфреймах должны быть подобны, мягко говоря, не обоснована...
Возвращаясь к нашим баранам — торговать состояние системы — работаю с этим уже несколько лет. Задача не из простых — общеизвестными являются только общие принципы существования таких систем. Т.е. приходится «изобретать» какие-то способы расчета характеристик системы, а, затем, использовать их же для изучения конкретики поведения таких систем. Результаты есть, но пока скромные...

Sergerk, ну, что же Вы замолчали?