Блог им. Empirix
На простом языке разберем, как незамысловатые элементы статистики и математики могут сильно помочь на финансовых рынках.
Где встречается нормальное распределение (и почему оно плохо подходит для финансовых рынков), что за шапка жандарма такая, откуда берутся 1, 2 или 3 сигмы, как определить математическое ожидание стратегии — после прочтения статьи вам будет все понятно.
Полезные материалы, которые хорошо бы изучить перед продолжением:
Многое, что нас окружает, имеет нормальное распределение. Средняя, нормальная скорость, с которой передвигаются машины в городе, средние зарплаты, средняя продолжительность фильма и т.д. Среднее и нормальное движение цен финансовых инструментов — не исключение (о них — чуть позже).
Скорее всего, вы видели колоколообразную кривую нормального распределения. Разберем ее на примере среднего роста человека.
Нормальное распределение среднего роста взрослого человека.
Допустим, у нас есть данные о всех взрослых людях планеты и их росте за последние 1000 лет. Нам не составит труда узнать средний рост такого человека — он равняется 165 см. Самый низкий рост человека — 54,6 см, а самый высокий — 272 см. Выше на графике ось X показывает как раз значения роста взрослого человека, ось Y — вероятность встречи человека с определенным ростом. И если перевести график на простой язык, будет звучать примерно так:
С большей вероятностью мы будем встречать людей с ростом от 150 до 180 см. А вот взрослых людей с ростом ниже 100 см и выше 200 см мы будем встречать крайне редко.—
Кстати да, иногда математики нормальное распределение называют “шлемом жандарма”. И вот почему:
Жандарм и его «нормальный» шлем :)
Ок, теперь разберем, что такое стандартное отклонение.
В статистике дается следующее определение:
Стандартное отклонение (отображается как греческая буква σ — сигма) — мера, которая показывает разброс величин от среднего значения.—
Формула стандартного отклонения выглядит так:
Получив значение стандартного отклонения, мы можем узнать, где и с какой вероятностью окажутся наши исследуемые данные, используя правило 3-х сигм. Для этого обратимся к рисунку ниже.
1, 2 и 3 сигмы (σ) — те самые отклонения от среднего.
Если в нуле у нас то самое среднее значение (которое также называется математическим ожиданием и обозначается буквой мю — μ. О мат. ожидании скоро поговорим чуть подробней), то 1, 2 и 3 сигмы — отклонения от среднего значения. На одно, два и три значения соответственно.
Правило 3-х сигм говорит вот о чем:
Стандартное отклонение еще называют среднеквадратичным отклонением, потому что является квадратным корнем дисперсии — меры, которая показывает разброс значений от среднего (от того самого нуля, или μ). Нет необходимости погружаться в формулы, так как дисперсия тоже автоматически считается в том же Excel (по формуле “ДИСП”). Но если все же хотите разобраться с дисперсией подробней, вот ссылка на статью Википедии.
Ок, с матчастью разобрались, теперь к примерам из финансовых рынков.
Теперь мы знаем, что нормальное распределение должно встречаться и в разных сферах финансовых рынков — от доходностей торговых стратегий до движения котировок внутри дня. Давайте исследуем эту гипотезу экспериментально.
В статье "Ценность стоп-лосса, выявленная из 2 365 алгоритмов" мы уже приводили результативность стратегий и их среднюю доходность. Вот какая выборка данных была:
Угадайте, что получили? Да, шлем жандарма.
Нормальное (почти) распределение доходностей среди 2 365 алгоритмов.
По оси X — соотношение прибыльных сделок в исследуемых стратегиях. В нашем случае — от 20% до 75%. По оси Y — количество алгоритмов, которые попали в определенную доходность (всего их во всех гистограммах — 2 365 штук). Чем выше гистограмма, тем больше алгоритмов туда попало, — значит, выше вероятность такого события. Опять же, давайте переведем все на человеческий язык, как на примере со средним ростом человека. Вот как сформулируем:
Вероятней всего, в среднем у стратегий будет от 35% до 45% прибыльных сделок. Шанс того, что среднее количество сделок будет 55% и выше — крайне мал.—
И важное отступление: распределение не всегда бывает нормальным. Слово “нормальное” в нашем термине подразумевает зеркальные значения что слева от среднего, что справа.
Вот какие типы распределений бывают:
Виды кривых распределений.
Есть теорема (центральная предельная теорема — ЦПТ), которая приводит ненормальное распределение к нормальному. Это все, что нам нужно знать в рамках этой статьи.
С этим разобрались. Это была средняя доходность. А что, если посмотреть на среднюю просадку?
И в средних просадках должно все повторяться. Давайте проверим это с помощью метода Монте-Карло. Подробнее о методе вы можете прочесть в статье "Как определить вероятностный результат торговой стратегии, используя метод Монте-Карло" или в видео ниже:
Сейчас же просто посмотрим на распределения.
Ок, допустим, у нас есть некая стратегия, которая в среднем дает 50% прибыльных сделок, а соотношение стоп-лосса к тейк-профиту составляет 1 к 1. Вот как будет выглядеть среднее распределение по просадке:
Распределение по просадке.
MDD — Maximum Drowdown — максимальная просадка. И здесь видим уже знакомую нам кривую распределения. Как показывает эта кривая, средняя просадка, вероятнее всего, будет в районе 3,8%.
Важно заметить, что у нас есть смещение вправо — то есть “толстый хвост” (о них — далее). Такие распределения называют positive skewness — положительный сдвиг или положительное смещение. В случае с примером выше это говорит о том, что могут быть редкие сценарии и форс-мажоры, которые сильно увеличат максимальную просадку.
Ок, еще один пример для закрепления.
Нормальное распределение, где средняя просадка уже 26,6%.
Здесь же распределение нормальное, без сдвигов влево или вправо.
Шпаргалка по математическим принципам в трейдинге — в нашем Telegram 📊—
Об этом любит писать в своих книгах и публикациях Нассим Талеб. Что за “толстые хвосты” такие? Сейчас расшифруем.
По правилам 3-х отклонений, (тех самых 3-х сигм) все, что выходит за их рамки — крайне редкие события, которые можно вообще и не встретить в жизни (мы уже знаем, что шанс встретиться с таким событием — примерно 0,3%). Но парадокс в том, что редкие события на финансовых рынках, они же “черные лебеди”, встречаются значительно чаще, чем об этом говорит статистика.
Те самые «хвосты» распределения.
“Хвосты” — те самые края распределения. И если у синего распределения они тонкие (то есть вероятность события действительно низка), то у красного распределения они шире.
Мы помним, что по оси Y у нас вероятность встречи события, а по оси X — его значение. Так и получается, что чем “толще” хвосты, тем выше вероятность реализоваться крайне неожиданному и экстремальному событию.
Финансовые пузыри, падения котировок и другие форс-мажоры — все это происходит намного чаще, чем должно было бы быть в теории. И все это нельзя отнести к нормальному распределению.—
И об этом — ниже.
Исходя из нормального распределения, выходы за пределы 3-х сигм были бы с теми вероятностями, что ниже в таблице.
Вероятности отклонений от нормального.
Теперь же посмотрим, какие события были за последние 10 лет, которые вышли за рамки нормального.
То есть, если опираться на законы нормального распределения, многие из этих событий должны были бы происходить 1 раз в миллионы или даже миллиарды лет. На практике же они происходят несколько раз в десятилетие.
Хоть и нормальное распределение — далеко не самая точная модель описания цены (как мы выяснили выше), но для частного трейдера с нее можно начинать, а дальше уже переходить к более сложным моделям, которые учитывают “толстые хвосты”.
Вот несколько индикаторов, в основе которых лежит логика нормального распределения и стандартного отклонения.
Задача индикатора Standard Deviation — показывать всплески волатильности от средних значений. По классической настройке индикатор включается с периодом 20, то есть берет 20 последних свечей и вычисляет от них то самое среднее значение.
График валютной пары NZD/JPY H1 и индикатор стандартного отклонения с периодом 20.
Рост индикатора — рост ценовой активности, снижение индикатора — снижение активности.
Так как этот индикатор показывает лишь всплески волатильности, в отдельности он практически не используется. Волатильность достаточно легко определить на глаз, без каких-либо приборов.
Этот индикатор популярней, так как автоматически помогает с определением тренда, волатильности и стандартного отклонения. Не будем подробно описывать здесь принципы его работы, так как уже сделали это в прошлой статье: "Трендовая стратегия на индикаторах SMA и полосах Боллинджера (Bollinger Bands)". Просто покажем, как выглядят линии на графике:
Линии Боллинджера и уже знакомые вам отклонения (сигмы).
Линия посередине — то самое среднее значение. Линии выше и ниже — +2 сигмы и -2 сигмы, то есть вероятностное движение цены как в рост, так и в падение.
Вот видео о том, как мы создавали и тестировали стратегию на основе полос Боллинджера:
Индикатор линейной регрессии
Линейная регрессия в трейдинге используется для определения основной динамики цен на рынке и отклонений от нее. Строится из 3-х линий:
Линейную регрессию можно использовать как в боковых движения, так и в трендовых.
Пример линейной регрессии в шумном боковом движении.
Линейная регрессия может быть хорошим помощником в сложных фазах рынка — волатильных консолидациях. На примере выше — именно такая фаза. Покупки от нижней линии отклонения (-2 сигмы) и продажи от верхней линии (+2 сигмы) могут быть неплохой контртрендовой стратегией.
Теперь посмотрим трендовые методы.
Линейная регрессия в нисходящем тренде.
В трендовых движениях регрессия аналогично помогает с точками входа и упрощает визуальный анализ.
Последнее, о чем поговорим, и расходимся.
Скорее всего, вы слышали что-то вроде “О, эта стратегия с положительным мат. ожиданием”, или “Эта стратегия не годится. Ее мат. ожидание отрицательное”. Да, положительное математическое ожидание — хорошо, отрицательное — плохо. А берется оно, как мы уже разобрались, из тех же значений нормального распределения — из среднего. Сформулировать мат. ожидание можно так:
Математическое ожидание — это наиболее ожидаемое значение, которое мы можем получить при многократном повторении испытания.—
Снова обратимся за помощью к методу Монте-Карло и распределениям, чтобы проверить все на практике.
Распределения с помощью Монте-Карло.
Выше мы провели 10 000 случайных симуляций стратегии (на самом деле портфеля стратегий, но сейчас это не важно) и получили данные по распределениям. Нам интересна правая нижняя диаграмма — “Распределение ФинРез” — финансовый результат.
Еще раз пройдемся по определению, но уже для торговой стратегии.
Математическое ожидание торговой стратегии, это среднее значение ее доходности при многократном повторении испытания.—
Если среднее значение отрицательное (оно же мат. ожидание), как на примере выше (-11,5%), значит эта стратегия не заслуживает право на существование. Любые прибыли в такой стратегии — это лишь случайность и простое везение.
Теперь посмотрим на потенциально прибыльную стратегию.
Распределения с помощью Монте-Карло.
Здесь финансовый результат уже положительный. Среднее значение доходности — +29,1%, что говорит нам о положительном математическом ожидании. Стратегия заслуживает право на существование.
Давайте еще раз тезисно по всему пробежимся:
В этой статье мы постарались показать, что для простейших вычислений вам не нужно быть математиком — все уже создано, можно брать и пользоваться. Самое важное, это умение тестировать стратегии и правильно работать с их данными. С таким подходом вы будете на голову выше других частных (как минимум) трейдеров.
Принципы распределения вы можете применять к любым показателям, которые вас заинтересуют. Это могут быть и средние движения криптовалют, и средняя ожидаемая доходность инвестиционного портфеля, и все, что вы сами захотите исследовать. Ограничения всегда лишь в вашей голове.
Работа с данными, тестирования, рациональное мышление и опора на статистику — вот что ценится среди профессионалов и отделяет их от любителей.—
И да, не забывайте, что финансовые рынки иногда проявляют “толстые хвосты” ;)
Успехов!
Вывод: Трейдинг и математика для трейдера работают иным образом, практически всегда наоборот от ожидаемых расчётов.
Где там минус 1?
А. Г., благодарим вас, Александр!
Насчет Талеба: у него на русском языке есть «Статистические последствия жирных хвостов». Вышла пару лет назад (именно на русском). Очень сложноусваемая, но всё же) Там сплошная математика. По сути, даже не книга, а учебник.
Taleb N. Dynamic Hedging: managing vanilla and exotic options
New York: John Wiley & Sons, 1997. — 515 p.
kreved, не очень понятно, что вы подразумеваете под Максвеллом?
«Логично, что максимум приходиться на убытки (40% прибыльный сделок)»
Почему на убытки? Это распределение по количеству прибыльных сделок, то есть по winrate. Максимум приходится на 40% winrate, но это не говорит о прибыльности/убыточности стратегий — здесь распределение по сделкам.
А вообще, большинство трендовых стратегий имеет 30–40% прибыльных сделок, и это вполне нормально.
Комментатор kreved, скорее всего, говорит про распределение Максвелла говорил
ru.wikipedia.org/wiki/%D0%A0%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5_%D0%9C%D0%B0%D0%BA%D1%81%D0%B2%D0%B5%D0%BB%D0%BB%D0%B0
Ну и как это часто бывает, en.wiki точнее и подробнее :) Российская wiki, видимо, считает, что кому надо, и так знает про Хи-распределение. Но те, кто знают, туда не полезут, ибонефиг.
Mathematically, the Maxwell–Boltzmann distribution is the chi distribution with three degrees of freedom (the components of the velocity vector in Euclidean space), with a scale parameter measuring speeds in units proportional to the square root of T / m
en.wikipedia.org/wiki/Maxwell%E2%80%93Boltzmann_distribution
George Martin, жаль, что вам не понравилось. Но это «ниочем» — основа всех финансовых рынков, по сути. Понимаем, что материалы есть и повеселее. Например, куда пойдет актив через день (если что, это сарказм, потому что никто не знает), но и более скучные материалы тоже иногда требуют внимания.
А насчет накоплений и распределений тоже есть материал — вот по этой ссылке. Возможно, понравится вам больше.
George Martin, конечно, всё ок, мы адекватно относимся почти ко всем комментариям.
Насчет полезности для новичков: рассказали же вон о линейной регрессии и о линиях Боллинджера. В целом, достойные и понятные инструменты для применения (не везде, но тем не менее). У нас есть несколько исследований по стратегиям на их основе, возможно, позже опубликуем.
Как отметили выше, принципы распределений — основы всех существующих рынков. И для трейдеров, и для инвесторов. И каждому с ними придется разобраться, иначе шансы на успех будут почти нулевые.
Вы когда-нибудь по Боллинджеру сами торговали? Я — да. Потеря денег на дистанции.
Flexiway, Да, сейчас несколько алгоритмов есть в портфеле по Боллинджерам. Не самые интересные, но есть.
Надо проводить бэктесты, форвард-тесты, матричные форвард-тесты, моделирования Монте-Карло, и тогда выявить определенную настройку на определенных инструментах, которая будет устойчивой на длинной дистанции.
Отличное начало очень важной темы!
Продолжайте её, если можно.
Математиком не стану, конечно, но может быть решу, наконец некоторые свои давние задумки, которые без математики не решаются.
Например, интересует синхронизация момента поворота парабол с использованием каких-нибудь отклонений в качестве допуска рассинхрона. Сравнивать можно либо друг с другом параболы по графику, либо обе эти параболы с некоей «эталонной».
Может и вас эта тема заинтересует?
VladMih, спасибо за обратную связь!
По синхронизации: честно говоря, не очень поняли, что вы имеете в виду. Вся формулировка достаточно сложная.
1. Берем две МА хитрого типа с разными периодами
2. Смотрим как они ведут себя относительно цены
и относительно друг друга (или относительно эталонной параболы)
Рассматривается разница точек поворота (перегиба)
и синхронность поворота в пределах допустимых отклонений.
Если эти ДВЕ РАЗНЫЕ МА поворачивают в пределах допусков, без раздрая, это означает, что поворот будет иметь значимость, пропорциональную текущей геометрии рынка, и «гарантирует» некий минимальный двиг в сторону поворота, а возможно и разворот тренда как минимум в приличную коррекцию.
Условно можно и так сказать — ищем момент согласия на разворот средне- и долгосрочных игроков, роли которых и исполняют эти МА.
Поверьте, это бывает нечасто и когда бывает… вручную работает.
А математика нужна чтобы роботу объяснить, а то он тупой.
Тупей меня ))
В т.ч. настройка синхронизации каких-то типа синхрофазотронов, что ли, не помню уже точно как называется. И готовые формулы там были. Только я их, как мартышка очки, не знал куда прицепить.
Использую ТЕМА, они в нужных местах дают повороты,
максимально приближенные к параболическим.
Задача — найти места, где они поворачивают
1. Наиболее синхронно на разных периодах
2. Наиболее приближено к формуле эталонной параболы
Вы, такой самый умный в нашей Галактике, лучше расскажите, что сегодня выгоднее купить со сроком продажи до месяца и продать с дальнейшей покупкой (чего?)!
А понты (советы другим) мы и сами кидать умеем!
Или ничего личного, просто диссер подгорает и апробация нужна?
Там сверху написано про деньги!
Я просто хотел сверить ваш шлем жандарма с хвостами, с моим виденьем. Есть ли сходство или разногласия.
Просто есть предположение, базирующееся на опыте, что музыка скоро затихнет и многие будут искать спасательные желты. Не хотелось бы остаться без жилета. В одном шлеме с хвостами.(шутка)
проблема в том что модель должна не только описывать но и предсказывать... что может предсказать модель нбш?
ves2010, модель не то чтобы должна предсказывать, она должна эксплуатировать поведение рынка.
На основе этих идей можно выстраивать более сложные модели типа VaR (Value at Risk) или GARCH. Модель VaR мы интегрировали в трейдинг, и по ней есть отдельная статья у нас на сайте, но она закрытая (все равно скинем ссылку на всякий — вот) — это чтобы подтвердить то, что теорию мы переводим и в практику.
А что в вашем понимании «взять готовую математическую модель и получить результат»? Сразу напрашивается вопрос: «А что, так можно было?».
0 что деньги делаются не на описаниях рынка а на прогнозах предсказаниях… например элиот он описывает и ничего не предсказывает… модель сигнал шум и матстатистика может делать предсказания но не в том ключе что описывает афтор
1 что можно предсказать а что нельзя..
2 задача алго и предсказания была решена еще в 1950..60ых годах… в инженерии есть дополна книг и разделов математики… просто перетри об этом с чат гпт чтоб он тебе подсказал направление… т.е спроси на что это похоже а не то что делают все
3 проблема в том что тебя учили шахматам а ты пришел на чемпионат по шашкам… вроде умный и вроде обученный но бесполезно… а мя например изначально учили шашкам и несмотря на ограниченнось своего скудного ума и воображения я могу крайне много но в шашках )))
4 самое интересное что все изначально все знают и даже используют постоянно инженерные термины но не осознают…
5 кроме того с чего бы акции это нбш? Там изначально в модели противоречие. Тренд отменяет нбш.
ves2010, мы не рассматриваем модели как инструмент предсказания. Их задача — описывать структуру данных, отделять сигнал от шума и оценивать риск, а не угадывать направление. «Афтор» ничего не говорит про предсказания.
Модели вроде НБШ позволяют работать с неопределённостью, а не устранять её. Тренд — часть структуры, шум — искажение. Это как раз укладывается в рамки подхода.
Мне че-то сразу вспомнился последний слив Алго-капитала (это когда они уже несколько лет под брендом Алго-капитал работали, а в итоге закрылись). Здесь на сайте были адепты этой компании, посты писали о том, как у них хорошо с риск/доходностью и прочее :) На момент закрытия потери клиентов от 30% до 60% были
Двойное логистическое распределение — сила!