Блог им. AntonKuklev

Оценка качества прогноза моделей и цена опциона

Допустим у нас есть несколько моделей, описывающих движение цены актива. Нам нужно выбрать модель, которая лучше предсказывает будущую цену. Т.е. нам нужна метрика, по которой мы будем сравнивать модели.

Хороший обзор коэффициентов для оценки качества моделей есть на сайте Ивана Светунькова forecasting.svetunkov.ru/forecasting_toolbox/models_quality/

Проблема в том, что все коэффициенты оценки качества прогноза основываются на сравнении ошибок (разница между мат.ожиданием модели и реальным значением прогнозируемой переменной). Если нас интересует только мат.ожидание, например, мы торгуем линейно активом, то проблем никаких. Но если для нас важна плотность вероятности, например, при оценке стоимости опционов, то имеющиеся метрики сравнения моделей не подходят.

Приведу пример. Есть три модели, прогнозное мат.ожидание которых совпадает, а плотность вероятности различается:
Оценка качества прогноза моделей и цена опциона

Вертикальная черта – фактическое значение прогнозируемой цены. Прогноз всех моделей – 10, факт – 11. Ошибка равна 1 во всех 3 случаях. Но если считать цены опционов по функции платежей на экспирацию, они будут разные для всех 3 моделей.

Какая модель лучше? По какой метрике их сравнивать? Готового решения такой задачи я не нашел, но может плохо искал, и кто-то ее уже решил. Буду рад любым идеям.



★6
25 комментариев

Черная модель самая плохая. Затем зеленая. Самая лучшая — сиреневая.

avatar
ch5oh,  а если картинка такая?


И картинок тысяча)
Антон Куклев, синее лучше, имхо. Если взять небольшую окрестность в точке фактической цены и посчитать в этих пределах площадь под каждым распределением, то площадь под синим, кажется, будет побольше остальных. И матожидание синего ближе всего к фактической цене.
Кирилл Браулов, спасибо! Отличная идея, измерять не ошибки, а вероятности. Обязательно покопаю в эту сторону!
Антон Куклев, я тоже пытался копать в эту сторону. Посмотрите, может еще какие идеи возникнут: Точность прогноза и Рынок vs модель.
Кирилл Браулов, спасибо! Эти топики мною зачитаны до дыр)
Объективных оценок тут быть не может. Фактически речь идёт о предпочтениях по уровню риска и управлению капиталом.
avatar
stanislav sagaydak, как же тогда выбрать модель? 
Антон Куклев, Очевидно, что исходя из собственных знаний и умений. Любите стабильность — выбираете пологий профиль (бабочку), умеете работать с высоким риском — продавайте стредл.
avatar

Антон Куклев, выберите любую модель, на которой Вы зарабатываете — и наслаждайтесь. Если стало скучно — можете взять еще одну для «диверсификации».

 

Все-таки цель нашего упражнения не в академической правоте и правильности. ;-)

avatar
ch5oh, такой вариант тоже возможен. Три разных счета, на каждом свою модель обкатать, а потом сравнить финрез… Но хотелось бы сначала стулья, а потом деньги)))
Антон Куклев, можно и на одном счете. Зачем такие сложности неописуемые? =)
avatar
А не проще просто посмотреть статистику?
avatar
noHurry, именно этого я и хочу. Только не знаю какую статистику посмотреть. Есть несколько моделей, для каждой несколько тысяч прогнозов и фактических реализаций. А на что смотреть, не понятно…
За что я не люблю слово оптимальный — за то, что обычно математическая модель, в которой существует оптимальное решение мало соотнисится с реальной задачей. 
Нас интересует заработок с учетом риска при определенном способе действий. А вовсе не точность предсказания будущей цены. 
Берете ту торговую систему, которую хотите торговать и засовываете в неё все варианты предсказания. Полученные оценки риска и доходности будут компасом. С учетом переподгонки и прочей техники, естественно.
avatar
математическая модель, в которой существует оптимальное решение мало соотнисится с реальной задачей. 

 

Совсем без модели тоже тяжело. Ни риск посчитать, ни опцион спрайсить не выйдет.
Антон Куклев, есть другие варианты. Если плясать «от печки» Вы закопаетесь на ближайшие 10 лет.
avatar
ch5oh, а я никуда не тороплюсь
бери ту у которой сиськи больше =)
Походу опционщики вас не поняли, шибко вы нелинейный оказались)

Самое простое… оптимизируйте не квадрат ошибки, а отступ (маржин). В теории это даст лучшее предсказание волатильности. Вероятно (тут утверждать однозначно нельзя) получите результат много лучше. У меня на фьючерсах, по крайней мере, работало.

А вообще функций качества большое разнообразие — и гауссианы и логистики и чего только там ещё нет. Например, при прогнозе продаж учитывается функция такая, что штраф за недопрогноз (когда товара в магазине нет, а покупателей полно)  на 10 единиц в 100 раз больше штрафа за перепрогноз (когда лишний товар остаётся на прилавке). Просто потому, что отсутствие товара несёт в себе большие репутационные риски. 

Так что выбор тут свободный — и строятся все эти функции качества, условно говоря, от руки.

Желаю успехов.
avatar
Kot_Begemot, спасибо! Отступ (маржин) — это модуль ошибки?
За наводку на штрафные функции отдельное спасибо. Я даже не смотрел в их сторону.
Антон Куклев, нет, отступ это произведение прогноза на реализацию. 

M = R*R'. где R — цена (или её изменение), R' — прогноз. 

Используется в задачах классификации, чтобы разрешить алгоритму ошибаться когда он не уверен в ситуации и запретить ошибаться когда уверен.
avatar
Kot_Begemot, про такую метрику не знал. В задачах классификации прогноз и реализация вроде бы бинарные. А у нас скорее задача регрессии. При такой метрике не получится ситуация, что алгоритму будет выгодно всегда завышать прогноз?
Антон Куклев, зачем? Завысит и пойдёт не туда — получит огромный штраф. Завысит и сильно не доберёт — получит небольшой бонус. Нет, вполне себе настраивается правильно.
avatar

теги блога Антон Куклев

....все тэги



UPDONW