Информация
Блог им. AntonKuklev
Оценка качества прогноза моделей и цена опциона
- 02 июля 2019, 08:55
- |
Допустим у нас есть несколько моделей, описывающих движение цены актива. Нам нужно выбрать модель, которая лучше предсказывает будущую цену. Т.е. нам нужна метрика, по которой мы будем сравнивать модели.
Хороший обзор коэффициентов для оценки качества моделей есть на сайте Ивана Светунькова forecasting.svetunkov.ru/forecasting_toolbox/models_quality/
Проблема в том, что все коэффициенты оценки качества прогноза основываются на сравнении ошибок (разница между мат.ожиданием модели и реальным значением прогнозируемой переменной). Если нас интересует только мат.ожидание, например, мы торгуем линейно активом, то проблем никаких. Но если для нас важна плотность вероятности, например, при оценке стоимости опционов, то имеющиеся метрики сравнения моделей не подходят.
Приведу пример. Есть три модели, прогнозное мат.ожидание которых совпадает, а плотность вероятности различается:
Вертикальная черта – фактическое значение прогнозируемой цены. Прогноз всех моделей – 10, факт – 11. Ошибка равна 1 во всех 3 случаях. Но если считать цены опционов по функции платежей на экспирацию, они будут разные для всех 3 моделей.
Какая модель лучше? По какой метрике их сравнивать? Готового решения такой задачи я не нашел, но может плохо искал, и кто-то ее уже решил. Буду рад любым идеям.
Черная модель самая плохая. Затем зеленая. Самая лучшая — сиреневая.
И картинок тысяча)
Антон Куклев, выберите любую модель, на которой Вы зарабатываете — и наслаждайтесь. Если стало скучно — можете взять еще одну для «диверсификации».
Все-таки цель нашего упражнения не в академической правоте и правильности. ;-)
Нас интересует заработок с учетом риска при определенном способе действий. А вовсе не точность предсказания будущей цены.
Берете ту торговую систему, которую хотите торговать и засовываете в неё все варианты предсказания. Полученные оценки риска и доходности будут компасом. С учетом переподгонки и прочей техники, естественно.
Совсем без модели тоже тяжело. Ни риск посчитать, ни опцион спрайсить не выйдет.Самое простое… оптимизируйте не квадрат ошибки, а отступ (маржин). В теории это даст лучшее предсказание волатильности. Вероятно (тут утверждать однозначно нельзя) получите результат много лучше. У меня на фьючерсах, по крайней мере, работало.
А вообще функций качества большое разнообразие — и гауссианы и логистики и чего только там ещё нет. Например, при прогнозе продаж учитывается функция такая, что штраф за недопрогноз (когда товара в магазине нет, а покупателей полно) на 10 единиц в 100 раз больше штрафа за перепрогноз (когда лишний товар остаётся на прилавке). Просто потому, что отсутствие товара несёт в себе большие репутационные риски.
Так что выбор тут свободный — и строятся все эти функции качества, условно говоря, от руки.
Желаю успехов.
За наводку на штрафные функции отдельное спасибо. Я даже не смотрел в их сторону.
M = R*R'. где R — цена (или её изменение), R' — прогноз.
Используется в задачах классификации, чтобы разрешить алгоритму ошибаться когда он не уверен в ситуации и запретить ошибаться когда уверен.