В продолжение этого поста smart-lab.ru/blog/547833.php. Готового решения не нашлось, так что пришлось изобретать свой велосипед. На мысль натолкнул комментарий Кирилла Браулова smart-lab.ru/blog/547833.php#comment9870122. Действительно, почему бы нам вместо ошибки не считать модельную вероятность фактической реализации. Вероятность конкретной цены – около нуля. Ок, можем взять не точку, а некоторую окрестность слева и справа. Тогда распределения можно будет сравнить по сумме/среднему вероятностей фактических реализаций за большое количество экспериментов. Вроде задача решена. Но почему бы не пойти дальше…

Мы можем разделить прогноз на n равновероятных интервалов, например, 10 или 100. Для этого рассчитаем квантили с шагом 0,1 или 0,01. И проверим в какой интервал попала фактическая реализация. И так для всех экспериментов. Пример на картинке

Допустим у нас есть несколько моделей, описывающих движение цены актива. Нам нужно выбрать модель, которая лучше предсказывает будущую цену. Т.е. нам нужна метрика, по которой мы будем сравнивать модели.

Хороший обзор коэффициентов для оценки качества моделей есть на сайте Ивана Светунькова forecasting.svetunkov.ru/forecasting_toolbox/models_quality/

Проблема в том, что все коэффициенты оценки качества прогноза основываются на сравнении ошибок (разница между мат.ожиданием модели и реальным значением прогнозируемой переменной). Если нас интересует только мат.ожидание, например, мы торгуем линейно активом, то проблем никаких. Но если для нас важна плотность вероятности, например, при оценке стоимости опционов, то имеющиеся метрики сравнения моделей не подходят.

Приведу пример. Есть три модели, прогнозное мат.ожидание которых совпадает, а плотность вероятности различается: