Калибровка versus переподгонка

Пост из разряда мыслей вслух в расчете кто-то из более опытных и более умных коллег поделится толковым суждением.

Наверное почти никто не откажется от системы без параметров, которая идеально или хотя бы приемлемо торгует любой инструмент. Мне кажется, что такая система ровно одна и она невозможна либо никому недоступна — заглядывание в будущее. Иным способом получить безпараметрическую и не нуждающуюся в оптимизации систему нереально.

Поэтому все разговоры о том, что система должна быть без параметров или что кто-то продает такую систему или просто нашел, лишенными практического смысла. Потому что такие системы, если они и работают, то они разные для разных инструментов, а значит в чистом виде безпараметрическими не являются. Значит там разные модели в основе, а значит оптимизации проводилась или требуется, но в каком-то скрытом или неосознаваемом виде.

Значит у нас есть какая-то модель, раз есть модель и есть разрыв между ней и реальным рынком, то надо как-то притянуть за уши эту модель к реальному рынку — калибровки. Технически это всегда (поправьте, если я ошибаюсь) решение задачи оптимизации. И тут возникает всем известная проблема — переподгонка или оверфит. Калибруем модель, а получаем оверфит. Обидно. Ведь бывают и хорошие модели.

О чем я пытаюсь подумать? Как понятийно или по содержанию различить калибровку от переподгонки? Не с точки зрения техники и не с точки зрения результата, а понятийно. Возможно ли это? Например, дать определение, чтобы отграничить калибровку от переподгонки.

В чем тут трудность с пониманием? То, что в одной ситуации будет дикой переподгонкой, в другом — вполне сойдет за калибровку. Очевидный пример. Если мы вертим сгенерированное СБ без какой-либо памяти и на нем находим какие-то модели или уже известные модели пытаемся «оптимизировать», то мы априори понимаем, что это оверфит и ничего иного не дано.

Однако, много моделей на рыночных временных рядах имеют какую-то область калибровки, за границами которой наступает переподгонка. У плохих моделей потенциал по калибровке мал и легко попасть в переподгонку. У хороших моделей калибровочный потенциал пошире. Собственно, это мы знаем из опыта из практики и можно дать определение хорошей модели. Модель тем лучше, чем труднее из калибровки попасть в переподгонку. Видимо, идеальная модель это такая, которую можно только откалибровать и невозможно чрезмерно зафиттить. Существует ли такие модели — отдельный разговор.

Внимательный читатель спросит, что же я хотел сказать или о чем спросить у внимательного читателя? Вот я даже до конца не могу толком это сформулировать в силу какой-то своей тупости. Но я эту проблему хорошо понимаю как проблему, а уверенного решения не вижу или не знаю. Но в практических ситуациях как-то легко могу понять, где идет калибровка, а где уже оверфит.

Потом попробую иллюстрации на эту тему опубликовать.