Антон Куклев
Антон Куклев личный блог
04 июля 2019, 15:26

Оценка качества прогноза моделей и цена опциона. Часть 2. Эврика!

В продолжение этого поста smart-lab.ru/blog/547833.php. Готового решения не нашлось, так что пришлось изобретать свой велосипед. На мысль натолкнул комментарий Кирилла Браулова smart-lab.ru/blog/547833.php#comment9870122. Действительно, почему бы нам вместо ошибки не считать модельную вероятность фактической реализации. Вероятность конкретной цены – около нуля. Ок, можем взять не точку, а некоторую окрестность слева и справа. Тогда распределения можно будет сравнить по сумме/среднему вероятностей фактических реализаций за большое количество экспериментов. Вроде задача решена. Но почему бы не пойти дальше…

Мы можем разделить прогноз на n равновероятных интервалов, например, 10 или 100. Для этого рассчитаем квантили с шагом 0,1 или 0,01. И проверим в какой интервал попала фактическая реализация. И так для всех экспериментов. Пример на картинке
Оценка качества прогноза моделей и цена опциона. Часть 2. Эврика!

И, наконец, посчитаем количество попаданий в каждый интервал. Ну а дальше все просто. Если мы очень хорошо прогнозируем, то количество попаданий в интервалы будет равномерным. А в качестве метрики будем считать критерий хи-квадрат.

Получилась метрика, которая не только позволяет сравнивать качество прогноза нескольких моделей, но и получить абсолютную оценку качества прогноза. Т.е. мы можем оценить насколько наша модель соответствует реальности)

Всем поучаствовавшим в предыдущем обсуждении большой респект, особенно Кириллу!



6 Комментариев
  • Dmitryy
    05 июля 2019, 09:14
    А зачем вообще нужна подобная оценка качества? Почему нельзя сделать бэктест? Интересуюсь в образовательных целях.
      • Dmitryy
        05 июля 2019, 10:32
        Антон Куклев, так может пора задуматься о накапливании такой истории, для будущих продаж ;)

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн