Допустим у нас есть несколько моделей, описывающих движение цены актива. Нам нужно выбрать модель, которая лучше предсказывает будущую цену. Т.е. нам нужна метрика, по которой мы будем сравнивать модели.
Хороший обзор коэффициентов для оценки качества моделей есть на сайте Ивана Светунькова forecasting.svetunkov.ru/forecasting_toolbox/models_quality/
Проблема в том, что все коэффициенты оценки качества прогноза основываются на сравнении ошибок (разница между мат.ожиданием модели и реальным значением прогнозируемой переменной). Если нас интересует только мат.ожидание, например, мы торгуем линейно активом, то проблем никаких. Но если для нас важна плотность вероятности, например, при оценке стоимости опционов, то имеющиеся метрики сравнения моделей не подходят.
Приведу пример. Есть три модели, прогнозное мат.ожидание которых совпадает, а плотность вероятности различается:

Вертикальная черта – фактическое значение прогнозируемой цены. Прогноз всех моделей – 10, факт – 11. Ошибка равна 1 во всех 3 случаях. Но если считать цены опционов по функции платежей на экспирацию, они будут разные для всех 3 моделей.
Какая модель лучше? По какой метрике их сравнивать? Готового решения такой задачи я не нашел, но может плохо искал, и кто-то ее уже решил. Буду рад любым идеям.
Черная модель самая плохая. Затем зеленая. Самая лучшая — сиреневая.
Нас интересует заработок с учетом риска при определенном способе действий. А вовсе не точность предсказания будущей цены.
Берете ту торговую систему, которую хотите торговать и засовываете в неё все варианты предсказания. Полученные оценки риска и доходности будут компасом. С учетом переподгонки и прочей техники, естественно.