Блог им. Gusan

Эмпирическое распределение

Интересную тему с эмпирическими распределениям подняли Дмитрий Новиков и Nonsense. Хотелось бы одну мысль по этому поводу озвучить. Насколько понимаю, эмпирическое распределение — это когда берут историю цен БА, нарезают неким окном, из каждого полученного отрезка получают приращение, и потом строят частотную диаграмму из этих приращений. Полученное распределение и называют эмпирическим. Nonsense пишет, что возникают две проблемы:
1. У полученного распределения мю может быть не ноль, и если считать по этому распределению справедливые цены, то не будет выполняться колл-пут паритет.
2. Выбор размера окна для нарезки.

Мне же кажется, что тут другая, более существенная, проблема. Предположим, у нас есть некий случайный процесс, с помощью которого мы можем сгенерировать кучу случайных траекторий цены:

Эмпирическое распределение

Построив частотную диаграмму финишных точек каждой траектории, мы получим как-бы распределение вероятностей — истинное для нашего случайного процесса. Теперь вопрос: если мы возьмем только одну траекторию и построим из нее эмпирическое распределение, будет ли оно совпадать с истинным распределением? Уверен, что нет.

Анализируя одну такую траекторию может быть и можно частично понять некоторые св-ва исходного случайного процесса (типа, рост волатильности при падении цены), но полностью его расшифровать — мне кажется, невозможно.

И еще соображение. Мы ведь говорим про вероятности. А что это? Так понимаю, есть два подхода: частотный и байесовский. И вроде бы второй подход гораздо точнее прогнозирует (например, тот кто прогнозирует будет сегодня дождь или нет на основе кол-ва дождливых дней в году проиграет тому, кто смотрит ясный сегодня день или пасмурный). Так вот, эмпирическое распределение соответствует частотной вероятности. А рыночное распределение (получаемое из текущих цен опционов на всех страйках) — байесовскому подходу. Например, выходит какая-то важная новость, рыночное распределение на это сразу реагирует и соответствующим образом изменится. А эмпирическое никак на эту новость не отреагирует.

В общем, использовать эмпирическое распределение (для прогноза где будет БА или для подсчета своих справедливых цен), имхо, дюже неправильно.

★13
55 комментариев
Имелось в виду эмпирическое распределение, построенное по ряду приращений цены.
avatar
bstone, во во
Но стоит отметить, что такая вот нарезка «окон» является хорошей иллюстрацией свойства эргодичности процессов, описываемых случайным блужданием.
avatar
А зачем такое? Оно же не прогнозирует, где будет цена БА на заданную дату? И справедливых цен по нему не посчитаешь. Единственно для чего его имеет смысл построить, чтобы убедиться, что оно отличается от нормального (как предполагается в БШ). У меня для Ri такое отличие получалось:

Кирилл Браулов, так Каму тут надо движение БА
Дмитрий Новиков, распределение вероятностей где будет цена БА на экспу, мне кажется, нужно любому опционщику. Это ведь тоже самое, что и улыбка IV, просто в другой форме.
Кирилл Браулов, ну как бы хорошо знать прикуп. Но тому же Коровину это не обязательно. Фактически распределение и показывает с какой вероятностью мы там окажемся. Дельту смотрим и переводим в проценты. 
Дмитрий Новиков, Коровину необязательно, его грааль в другом :)
Кирилл Браулов, и он даже об этом не догадывается;)
Дмитрий Новиков, думаю что догадывается, и наоборот все делает сознательно и цинично (по отношению к своим клиентам и брокеру, на которых он перекладывает весь риск).
Кирилл Браулов, надо анализ его стратегий провести со всеми выкладками. Не созл, а справедливости ради
Кирилл Браулов, это за какой период
Дмитрий Новиков, это за квартал (3 месяца). Смотрел такие картинки за несколько лет, в каждом квартале вид этих распределений одинаков: вероятность маленьких приращений гораздо выше, чем в нормальном, и хвосты гораздо толще.
Кирилл Браулов, да ч заметил что это минутки. Что и требуется доказать. Улыбка всегда будет
Дмитрий Новиков, улыбка будет, но не из-за того, что у распределения приращений толстые хвосты. Если не лень, то вот пара постов: 
1. Откуда возникает улыбка
2. Модель Хестона и гэпы
Кирилл Браулов, да я читал. Хороший анализ. Но с корреляцией Олега? А что перед эксперой корреляция пропадёте. тут всё-таки мат ожидание смещённое. Вот перед эксперой оно не оказывает влияния на улыбку
Дмитрий Новиков, не пропадает, просто не успевает проявиться.
Кирилл Браулов, ну во-первых это действительно никому не нужно, а во-вторых, прогноз по распределению траекторий имеет точность плюс/минус депозит.
avatar
bstone, как строго :) Мне кажется, даже тем кто торгует только фьючом совсем не помешает иметь прогноз в виде распределения вероятностей.

Вот допустим, наша система прогнозирования сообщает, что с вероятностью 60% цена вырастет, а с 40% — упадет. Достаточно ли этого для принятия торгового решения, покупать или продавать фьюч? 
Кирилл Браулов, правильно Маркович по распределениям и приращениям считал
Кирилл Браулов, нет, конечно не достаточно, т.к. этот прогноз основан на том, что в окно попал дрифт, который в любой момент может исчезнуть или повернуться в противоположную сторону.
avatar
bstone, это не важно на чем основан прогноз. Предположим, что он верный (т.е. забегая в будущее мы убедимся, что в 100 случаях, когда система подает такой сигнал, на следующем баре случится рост в 60 случаях, а в 40 будет падение). Так вот, если такая система выдает сигнал (60% рост, 40% падение) — можно ли открывать лонг, закрывать его на следующем баре и рассчитывать на положительное МО от результата сделки?
Кирилл Браулов, нет, даже при этих условиях нельзя рассчитывать на положительное МО т.к. помимо вероятности оно зависит еще и от величины изменения цены, которую вы не оговариваете.
avatar
bstone, совершенно верно. Вот два примера:
1. с вер-тью 60% следующее приращение будет +10п, 40% что будет -10п.
2. 60%: +10п, 40%: -20п.

В первом случае МО = +1п, во-втором = -1п. Т.е. в первом случае нужно покупать, во втором — продавать. Причем в каждом случае будет свое OptF (доля счета, на которую оптимально открыться, это ведь тоже важный вопрос). Оба варианта отличаются именно распределением вероятностей, где будет цена на следующем приращении. Т.е. получается, даже для линейной торговли (голым фьючом), очень полезно знать все распределение (а не только вероятность вырастет или упадет). И уж тем более это полезно для торговли опционами. А вы утверждаете, что это никому не нужно...
Кирилл Браулов, я говорил в контексте опционов, где это действительно не нужно, т.к. цена опциона не зависит от того, куда придет цена. Она зависит только от волатильности БА.
avatar
bstone, ну как же не зависит! Очень даже зависит :)  Если вер-ть дойти цене БА до какого-то страйка нулевая, то и цена соответствующего опциона будет почти нулевая. Если же эта вер-ть будет существенной, то и цена опциона будет значительной.

Волатильность БА в основном влияет на второй момент распределения вероятностей, но есть и третий (асимметрия) и четвертый (толщина хвостов, вер-ть гепов) и т.д. Как вы объясните одной только волатильностью БА, что у Si третий момент положителен (дно улыбки слева от текущ БА), а у Ri — наоборот?





Кирилл Браулов, я говорил про реальную стоимость опционов, а улыбка — это то, как эту стоимость видит Коровин. Если я буду весь день покупать на каких-то страйках — улыбка изменится, хотя ничего в поведении БА не менялось и я могу попасть на деньги, а у вас все вероятности пересчитаются ибо «улыбка»! Так что вы тоже в конечном счете из-за этого попадете на деньги. Пустое это… :)
avatar
Кирилл Браулов, 
нормальное подбиралось по равенству дисперсии?
А если ему уменьшить дисперсию, не станет ли оно более точно аппроксимировать гистограмму?
avatar
robomakerr, да, по равенству дисперсий. А что значит «более точно аппроксимировать»? Каков критерий? Если уменьшить, то в пределах одной сигмы наверное будет больше подобия, но за пределами трех сигм различие станет еще больше. При равных дисперсиях у реального распределения хвосты (площадь под хвостами за пределами 3х сигм) в несколько раза толще чем у нормального. Если у нормального уменьшить дисперсию, то отличие в хвостах будет уже наверное на порядок.
Кирилл Браулов, 
я не знаю, как по науке сравнить типы распределений, поэтому и спросил :) в учебниках тоже этого вопроса не встречал (кажется).
Интуитивно, я бы делал так: распределения различаются формой, поэтому для сравнения формы надо максимально аппроксимировать одну кривую к другой. Критерий любой, например МНК. Можно уменьшить веса хвостов, т.к. для них мало значений, и в этих областях точность аппроксимации ниже.

«отличие в хвостах будет уже наверное на порядок.» — так это же хорошо (наверное), ведь это одно из главных различий, которые мы ищем.
После аппроксимации я бы разделил гистограмму на подогнанную кривую, и тут хвосты визуально проявились бы во всей красе)))
avatar
robomakerr, по науке сравнивать можно, наверное, через Расстояние Кульбака — Лейблера. Но зачем искать различие? Достаточно ведь просто знать, что ключевое предположение БШ о нормальности распределения приращений — не выполняется.
Я с Кириллом скорее согласен. В том смысле, что эмпирическое распределение штука, зачастую, не просто бесполезная, но и опасная. Мне достаточно и тех двух причин о которых писал. А про Байесовскую вероятность первый раз слышу(( пойду повышать уровень знаний. Кирилл, спасибо
avatar
Nonsense, я сам только недавно про нее узнал. Из книжки «Сигнал и шум» Нейта Сильвера. Очень рекомендую.
Кирилл Браулов, класс! Там на стр 126 автор печалится о неточности прогноза погоды более чем На 7 суток. А кучу лет назад я натолкнулкся на доказательство Арнольда принципиальной невозможности прогнозирования погоды на такой и более срок При любых вычислительных мощностях. Очень мне то доказательство понравилось (как и все у Арнольда) но потом я его забыл а сейчас не могу найти((
avatar
Nonsense, у меня видимо другое издание и на стр 126 другое. 

Насчет неточности прогноза, мне понравилось у него:
Ошибаться, ошибаться и еще раз ошибаться. Но все меньше, меньше и меньше.

Припоминаю, он приводил там статистику за последние 100лет, что несмотря на все сложности прогноза погоды, землетрясений и т.д. — точность прогнозов все-таки постепенно растет.
Nonsense, насчет «правильного» распределения, мне кажется, совсем необязательно требовать от него, чтобы его МО было равно текущей цене БА (из-за проблемы с колл-пут паритетом). Можно обойтись без пересчета этого распределения в улыбку (и получить две разные улыбки, если МО не равно текущ БА), подсчета греков и пр. Вот пост про это: Оптимальная опционная позиция: общий принцип . Распределение P там — это «правильное» распределение, а Q — из текущих цен опционов (через вторую производную).
Кирилл Браулов, да все так (там по ссылке) конечно. Возможно я в дискуссии просто подменил понятия — безусловно допустимы распределения со смещением на реальном рынке. Но тогда, если не брать экзотику в виде двух горбов, деньги нажииь можно и без опционов — достаточно БА
avatar
Nonsense, да, но с опционами все-таки можно строить гораздо более оптимальные позы, наилучшим образом учитывающие разницу между собственным прогнозом и рынком (P-Q).
Кирилл Браулов, я тоже с Мю путаюсь. Оно может давать эффект разбалансирование только в моменте. Когда собирается и сглаживается вся плотность и она МО положительная это удешевит колы справа. По той простой логике что все знают что цена пойдёт вверх, но очень медленно и опЦИКи скорее всего сгорят
Кто сказал, что параметры Вашего случайного процесса не меняются со временем? По полученному графику — посмотрите в сторону Стьюдента. Далее, попробуйте пройтись скользящим окном в N свечек и посмотрите, при каком N распределение будет близким к нормальному. Насчёт байесовского подхода мне не совсем понятно — имеется ввиду наивный классификатор? http://www.machinelearning.ru/wiki/index.php?title=%D0%91%D0%B0%D0%B9%D0%B5%D1%81%D0%BE%D0%B2%D1%81%D0%BA%D0%B8%D0%B9_%D0%BA%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%82%D0%BE%D1%80  Минимаксный подход, насколько мне известно, лучше.
Бобровский Дмитрий, конечно меняются. Это тем более доказывает, что восстановить по одной случайной траектории весь случайный процесс — невозможно. Согласны?

Насчет байесовского подхода, имел ввиду, что вероятность это не что-то фиксированное и абсолютное (как предполагается в частотном подходе), а очень субьективное и постоянно меняющееся. Когда есть априорная вероятность события A, потом происходит событие B, и можно пересчитать апостериорную вер-ть P(A|B) по формуле Байеса.
Кирилл Браулов, в отношении формулы Байеса — если у Вас события A и B независимы, то пересчитывайте или не пересчитывайте,  но P(A|B) = P(A). Если события связаны — другой вопрос, но вероятности AB и A в любом случае знать необходимо будет.
В отношении восстановления случайного процесса по некоторой реализации — чисто чёрный ящик вы не восстановите никогда. Необходимо знать хотя бы что-то об исследуемом процессе. Под это дело обычно подбирается некоторая модель, а дальше MLE/QMLE, CSS и другие методы позволят по данным реализации получить оценки параметров модели. 
С точки зрения построения прогнозов лучшим в смысле СКО является условное мат.ожидание Y_{t}.
Бобровский Дмитрий, я непонял Вашу мысль есть кривулька цена от времени к ней прикрутить еще время? Или имелось ввиду, что через год при одинаковых исходных будет другая кривулька?
avatar
Олег _TkilA_/, есть случайный процесс, определяющий динамику цен или, н-р, логарифм приращения цен. Мы имеем одну из возможных реализаций данного случайного процесса. Y_{t} — значения цен в соответствующие моменты времени. Далее, определяете модель (например, ARMA(p,q), вычисляете p, q и значения коэффициентов полиномов и т.п.).
Бобровский Дмитрий, понятно, волшебное слово коэффициент.
avatar
Вот кто владеет мат аппаратом может быть разяснил мне метод <iframe width=«640» height=«360» src=«www.youtube.com/embed/yHzr9MWiC0Q» frameborder=«0» allowfullscreen></iframe><br><em><a href=«www.lektorium.tv/lecture/14232»>Посмотреть видео</a> на сайте <a href=«www.lektorium.tv»>Лекториума</a></em> с  сороковой минуты примерно. 
Дмитрий Новиков, так там и объясняется где-то на 44-й минуте суть метода: «шаманство» :)
avatar

Прокомментирую.
Когда вы сравниваете прогноз погоды 1) на основе частотного подхода и 2) байесовского, вы немного лукавите.
Фактически вы сравниваете анализ приращений погоды и абсолютного значения погоды. А на самом деле оба прогноза будут исходить из текущей погоды (солнце за окном или дождь). Да, у абсолютного значения погоды есть инерция. Т.е. если сейчас солнце, то очень вероятно, что и через полчаса будет солнце. Но! Изменение погоды в течение этих получаса — вот о чем речь — как его вы будете анализировать байесовским подохдом? По идее, если бы были ставки на погоду, можно было бы вернуть вероятности из коэффициентов выплаты (по аналогии как вы делаете на опционах). Но фактически с рынком есть 2 большие разницы:

1. на рынке сами ставки (на опционах) влияют на цены базовых активов. Погода же полностью живет по своим правилам.
2. применение байесовского подхода подразумевает большую волатильность волатильности + значительную волатильность матожидания. Первый же подход основывается на статичности рядов.

avatar
Johnny_22, «А на самом деле оба прогноза будут исходить из текущей погоды (солнце за окном или дождь).» — имел в виду, что отправной точкой анализа будет текущее значение погоды/цены
avatar
Johnny_22, хорошо, пусть у нас два прогнозиста, П1 — использует частотный подход, П2 — байесовский. Допустим, сейчас ясный день. П1 поглядев в таблицу кол-ва дождливых дней в году выдал прогноз: вер-ть дождя вечером 30%. Второй, поглядев в эту же таблицу и учитывая солнце за окном выдает: 20%. Вдруг набежали тучи и небо затянуло. П1 по-прежнему выдает прогноз 30%. П2 пересчитав по формуле Байеса выдал: 60%. Теперь вдали загрохотало и засверкали молнии. П1 по-прежнему утверждает: вер-ть дождя 30%. А П2 еще раз пересчитав усл. вер-ть выдал: 90%. 

Мне кажется, П2 будет точнее прогнозировать. Разве нет?
Кирилл Браулов, ну не совсем же так. На температурах (1 переменная), чтобы не заморачиваться с дождями, молниями и солнышками:
сейчас температура 10 градусов
П1 посчитал, что из 1000 исходов на день из предыдущих периодов в это же время года, матожидание изменения темп-ры за день будет пол градуса, а СКО, скажем, 2.5%. При этом он не учел текущий тренд (для этого нужно было бы взять, скажем, только 20 последних исходов). Вот он и делает прогноз: 11 градусов, диапазон 8,5-13,5 градусов.
П2 делает так: смотрит в окно и видит, что прошла бабуся, вся укутанная в шубу и из мерседеса вылез парень в ветровке и в футболке. Для примера берем малое количество инфы (что соответствует низкой ликвдности на опционах, все что не ри и не си). П2 все это усредняет и делает вывод, что температура будет х градусов. Т.е. второй аналитик основывается не на объективных данных, а на мнениях других индивидов, которые, очевидно, переработали большое количество информации, и рискуют своим здоровьем (деньгами в случае с опциями) в случае неправильной оценки.
как то так
avatar
непонятно получилось))
avatar
Подкину новую идейку. Как говорил один, давайте посмотрим на мировую практику. По моему, уже давно перестали мудрить с распределениями. То есть крыльями улыбки там особо не машут. Но, начинают добавлять взвеси которые могут повлиять на распределения. Это и новости и обстоятельства и прочее. Причём особо не замарачиваясь колоколом. Просто волу ЦС поднимают. Там можно увидеть разрывы в 50% между HV и IV. И вообще там фигурами торгуют. 
Дмитрий Новиков, правильно, разум подсказывает, что толстые хвосты надо рассматривать как они есть — крэши и прочие черные лебеди, когда все не коррелирующее вмиг коррелирует и получается полная задница как ни крути. Это отдельный режим в процессе ценообразования, так что нечего его втулять куда ни попадя и портить нормальное распределение.
avatar
bstone, ну вот у нас про запор, который в мерс въехал, ходили анекдоты. Потом все устаканилось. Заставили страховки покупать. Так и там. Не один уважющий себя трейдер не станет работать без купленного пута. Ему брокер не даст (утрирую конечно). Но там правила и подходы жёстче чтоли. Думаю, Герчик там лекции не читает не потому, что его не слушали бы. А потому, что могли посадить потом лет на 10;)

теги блога Кирилл Браулов

....все тэги



UPDONW
Новый дизайн