талеб

Все так носятся с этими Черными Лебедями...

Подхватили Талеба и сделали из него такую же попсу типа как про богатого и бедного папу.
Теперь у всех везде лебеди летают. Чуть вниз пошли — а это лебедь! Чуть чихнули — тоже лебедь.

Ребята, если ваш торговый план сильный — то он будет уметь разбираться и с лебедями тоже.

Думаю, что волна эта пошла именно от инвесторов, а не от трейдеров.

Алготрейдерам лебедя не грозят — потому что они не сидят овернайт в бумагах. Всё просто: день закончен — все позиции закрыты, вышли в деньги.

У инвестора жизнь сложнее. Лебеди случаются между сессиями, когда утром просто ни того ни с сего цена -50%, или вовсе не открылась биржа.
Хороший инвестор должен мониторить и «шарить» в новостях, чтобы почуять запах жареного и выйти заранее. Обычно всегда есть время для совершения действия.

Всем привет. На днях я дочитал свою первую более менее «умную» книжку по инвестициям – «Чёрный Лебедь» Нассима Талеба.

Сегодня постараюсь кратко изложить содержание книги так, как я его понял, и подсветить те вещи, которые вызвали у меня несогласие или недопонимание.

Настоятельно призываю писать в комментариях любое мнение по рассмотренным вопросам – тут интересна дискуссия.

---

Перед тем как начать, пару дисклеймеров:

1. Это не полный пересказ, а только то, что кажется мне наиболее важным.
2. Я не знаком с другими книгами автора.
3. Книга не только про инвестиции, но про природу рисков в целом.
4. Большая часть пересказа важна для понимания идей, но сложно перекладывается на прямое применение.
   Если хотите сразу знать «что делать» – листайте до штанга-портфеля. Но лучше прочтите целиком :)

---

Итак, поехали.

1. Знание о прошлом не гарантирует знаний о будущем.

Пример: индюшку кормили 1000 дней, но на 1001 день ей свернули голову.

( Читать дальше )

Талеб в разных вариантах упоминал что варианс использовать нельзя, потому что ее нельзя точно измерить. И как следствие GARCH который основан на измерении варианс использовать нельзя. Меня это заявление беспокоило, поскольку я гарч использую, и несколько недель в фоне размышлял.

For silver, in 46 years 94 percent of the kurtosis came from one single observation. We cannot use standard statistical methods with financial data. GARCH (a method popular in academia) does not work because we are dealing with squares. The 52 a non-technical overview — the darwin college lecture variance of the squares is analogous to the fourth moment. We do not know the variance. But we can work very easily with Pareto distributions. They give us less information, but nevertheless, it is more rigorous if the data are uncapped or if there are any open variables. // Statistical Consequences of Fat Tails

Я думаю он прав и не прав одновременно. Прав что использовать варианс в чистом виде, как статистику по r^2 походу реально смысла нет, вот как она выглядит (картинка1).

( Читать дальше )

Закончил чтение манифеста Нассима Талеба — Черный лебедь и решил изложить, что интересного я почерпнул для себя, как для внутридневного трейдера.

Скажу сразу, что я не могу однозначно относиться к трудам Н. Талеба. Многие моменты мне близки, некоторые не очень, но более всего мне интересен тот факт, что он близко общался с Бенуа Мандельбротом.

“Профессиональный бизнесмен, которому не удалось обеспечить каждого вкладчика неким эквивалентом счастливого лотерейного билета, наверняка будет думать, что “допустил ошибку”, — или, хуже того, что “были допущены ошибки”. Он будет раскаиваться в своей “непродуманной” инвестиционной стратегии. Единственный действенный способ избавиться от этой непрестанной головной боли — принять случившееся как неизбежность.”

Учитывая свой жизненный и торговый опыт, данная фраза очень запала мне в душу. По данной проблеме Н. Талеб рекомендует завести дневник. 

“Отсутствие результатов ценно само по себе, так как оно приближает вас к открытию: теперь вам известно, где не нужно искать!”

( Читать дальше )

Для лог доходности акций r = log S_T/S_0 степень хвоста не зависит от периода, прибыль за день, месяц или год.

Это видно математически Pr(X>x) ~ Cx^-a — степень a сохраняется при агрегировании (суммировании), меняется лишь константа.

И на графиках log log правого хвоста > 0.97 квантили, цвет дециль волатильности (множественные линии одного цвета — когорты чтобы избежать overlapping bias). Наклон на всех периодах одинаковый.

Проблема с которой я столкнулся в прошлых постах, при попытке определить степень тяжести хвостов распределения EVT Peak Over Threschold эстиматор дает огромные ошибки.

Если рассмотреть идеальный случай:

[1 / fit(GeneralizedPareto, rand(GeneralizedPareto(0, 1, 1/3), 500)).ξ for _ in 1:10]

получим

2.3747
 3.4744
 2.9658
 2.3281
 4.3979
 2.7633
 3.3022
 4.7440
 2.6349
 2.9094

И это при а) идеальном совпадении структуры (форма кривой), б) гиперпараметров (трешхолда=0), и в) достаточно большого сэмпла 500 точек, что не всегда возможно при «изоляции» хвоста (x > u) на реальных данных, обычно трешхолд ~ 0.98-0.99 квантиль, соотв чтобы получить хвост 500 точек нужен сэмпл 25к.

И даже в таком идеальном случае, ошибки 2.4-4.7. Ну а когда эти условия не идеальные — ошибка больше, что мы и наблюдали на графиках в прошлых постах.

Вывод — эстиматоры POT GPD MLE а также WM — совершенно не применимы на практике, и почему об этом не говориться на первой же странице книг и статей по EVT, чтоб не тратить на них время и сразу переходить к другим -  непонятно (либо я все еще допускаю где то ошибку, но я ее не вижу...)

( Читать дальше )

Я столкнулся с проблемой — самый точный (в теории) метод оценки экспоненты хвоста распределения давал совершенно дикие результаты smart-lab.ru/blog/1188320.php Мне кажется я нашел причину почему. Он действительно ошибается.

Даже при сэмпле 100к StudentT(df=4) он в половине случаев не может точно определить экспоненту хвоста, у него сильная системная ошибка, биас, MLE фиттинг систематически недооценивает хвост, и получается как на картинке (это лог лог CDF правого хвоста, >0.99 квантили). 


Фиттинг сделан верно, получилась некая «средняя» (точнее MLE) линия проходящая по всем точкам, и которая систематически недооценивает экспоненту.

И становится понятно эмпирическое правило «выкинуть последние 5-10 точек» — точнее, это правило неверное, если просто выкинуть случайно несколько последних точек результат буде вообще дикий, видимо в этом правиле есть упущенное дополнение, что выкидывать нужно не просто случайно точки, а только последние точки которые пошли вниз.

P.S. Как это сделать автоматически — может выкинуть последние точки, как вариант — нужно итерационно делать фиттинг, и выкидывать последнюю точку до тех пор пока df растет, а как только он упал сразу остановиться. Или, попробовать другие эстиматоры кроме MLE…

( Читать дальше )

Недавно потребовалось установить экспоненту Парето хвоста распределения вероятностей. И чтобы посмотреть насколько хорошо методы EVT работают, я сделал простой пример.
Пример: 30 сэмплов StudentT(df=4), каждый размером 20000. Определить экспоненту хвоста используя методы: Хилла, GPD, LeastSquares, CDF LogLog PLot.
Результаты ужасны: точность всех методов плюс минус километр. Я не вижу ни малейшего смысла в EVT поскольку вручную по линейке установить наклон линии на ЛогЛог Графике CDF оказывается не хуже (мне кажется даже лучше) чем специализированные методы EVT.
На графике — y — найденная экспонента хвоста, каждая линия это отдельный сэмпл, цвет метод определения, х — гиперпараметр (число точек в хвосте распределения которые использовались в расчетах). Верный результат это горизонтальная линия y=4, вместо этого мы наблюдаем, в зависимости от метода — систематические ошибки, либо дикий хаос.


Даже, мне кажется с линейкой предпочтительней, график лог лог. Поскольку ты боль менее визуально и интуитивно понимаешь что делаешь. 

( Читать дальше )

Много методов: Hill, EVT GPT, регрессия. И все с точностью километр. На графике — 30 симуляций: 30 сэмплов StudentT(df=4) 20к, для каждого сэмпла определяется df различным эстиматором (цвет линии), ось х — значение трешхолда эстиматора. 


Правильный результат — постоянная линия с y=4. Единственный нормальный результат (красные линии) это MLE полного распределения, но это именно что эстиматор полного распределение, а не Tail Estimator. Среди хвостовых эстиматоров ни одного хорошего.

EVT GPT на который я больше всего расчитывал (синии линии), вообще ничего не измеряет (но возможно я допустил ошибку и неверно его считаю, по идее он должен быть самый точный).

Подробней www.reddit.com/r/nassimtaleb/comments/1mdwqjw/huge_errors_in_heavy_tail_estimators_hill_evt_gpt/
Код gist.github.com/al6x/11e66ab92c525f2ef2c1510e6ac7a3f7

Это последний, третий пример применения закона нормального распределения (предыдущие примеры объясняют распределение людей по финансовой грамотности и по отношению к воровству).

Нассим Талеб в книгах “Одураченные случайностью”, “Чёрный лебедь” и “Антихрупкость” разработал и описал концепцию жирных или толстых хвостов гауссовой кривой.

С точки зрения действия законов статистики существует две противоположные страны: Среднестан и Крайнестан.

В первой главенствует нормальное распределение вероятностей, то есть высоковероятные события главенствуют (горб на графике), а маловероятные случаются редко (края графика с обеих сторон).

К примеру, такие массовые профессии, как бухгалтеры, кассиры, рабочие, охранники, врачи, учителя, можно отнести к Среднестану. Здесь шансы добиться огромного дохода минимальны, так как есть естественные ограничения масштаба деятельности, но заработать на кусок хлеба в этих профессиях удастся практически в любом случае. Родители в советах детям часто руководствуются житейским принципом «лучше синица в руке, чем журавль в небе».

( Читать дальше )