Думаю как убрать перекосы из данных, отсутствуют акции компаний которые обанкротились и были исключены из выборки. Нужно скорректировать, чтобы избавиться от эффекта выживших.

Исходные данные: 250 акций, известны текущая волатильность и будущие годовые лог доходности на протяжении N лет (все 250 акций начинаются с 1972 и заканчиваются в 2025).

Вероятность банкротства как условная вероятность от волатильности: P(b|sigma). Она рассчитана по модели

logit P(b|σ) = α + βσ, где beta~3-4, а alpha выбрана так, чтобы суммарная годовая вероятность банкротства составляла около 0.5%.

Ниже — табличное представление этой зависимости по квантилям волатильности.

Величина падения при банкротстве — почти всегда это полная потеря (−100%). Конкретное распределение убытков приведено ниже в виде PMF.

После события банкротства все будущие доходности акции полностью исключаются из выборки.

Чтобы не терять данные, я решил продублировать данные в 10 раз. Это приведёт к искажению доверительных интервалов, но сохранить больше данных — приоритет важнее.

( Читать дальше )

Сделал повторный фиттинг на специально подготовленных исторических данных, исключив по возможности предвзятости и неравномерности, 250 акций, 50 лет истории каждая (хотя, bias — ошибка выжившего остается). Получается сильная зависимость от волатильности.

Например, ожидаемая годовая прибыль получается для INTC х1.18, KO х1.06.

Модель для фиттинга E[R_365] = a + b*r_rf_365 + c*sqrt(var_365) оптимизация наименьших квадратов, все переменные в оригинальном, линейном пространстве, кроме волатильности она посчитана в лог маштабе, как var_365 = 0.8*252*EWMA[log r_daily].

Доверительные интервалы хорошие

a = 0.545548  (95% CI: 0.486466, 0.604631)
b = 0.423923  (95% CI: 0.367767, 0.480078)
c = 0.502396  (95% CI: 0.489426, 0.515367)

Проблема: насколько я понимаю это противоречит классической теории которая говорит что волатильность не влияет на ожидаемую цену. И это противоречит интуиции, мне кажется годовая прибыль х1.18 для Интела и тому подобных волатильных акций слишком высока, я интуитивно оценил бы ее ниже, как 1.1. Но, ошибки вроде нет… я также сделал другой фиттинг, с оптимизацией Likelihood в лог пространстве, он дал похожие результаты.

( Читать дальше )

Прогноз среднего значения цены акции через год, в зависимости от текущей безрисковой ставки и недавней волатильности. Средняя цена это E[S], если принять текущую цену за 1. Пробовал разными способами регрессию делать, прогноз на 365 дней напрямую в линейном пространстве. И в лог пространстве. Цифры получаются одинаковые, но на мой взгляд завышенные для высоко волатильных акций, как AMD. 

Расчеты дают прогноз средней цены через год для спокойной MCD 1.1 (что нормально) и волатильной AMD 1.23 (что на мой взгляд завышено, причем завышено сильно). Дополнительно проверил получив среднюю цену инверсией цен опционов, и они подтверждают мои ощущения, рынок опционов ожидает цену АМД через год где то вдвое ниже 1.12 а не 1.23.

Среднее через инверсию опционов думаю точнее, и верить нужно им, но мне таки хотелось бы получить независимую от рынка оценку будущей цены на основе исторических данных. 

Расчеты: данные и код в линейном пространстве и код в лог пространстве если кому то будет интересно посчитать.

( Читать дальше )

Алготрейдинг это поиск небольших корреляций на прошлых данных и ожидание их повторения в будущем. Основа алгоритма — корреляции а не причина-следствие. Это сильно меняет защиту от потерь. 

В некоторых случаях, как нарпимер анализ финотчетности, трейдинг основан на причина-следствие, например «переждать кризис, потому что активы компании превышают ее капитализацию и должны вырасти в будущем» и это позволяет длительно удерживать убыточные позиции, надеясь на их рост в будущем. В случае алготрейдинга действия совершенно другие, у нас нет возможности полагаться на логику, и потери должны останавливаться мгновенным закрытием убыточных позиций.

Второй момент, что корреляции небольшие, и соответственной — прибыль растет постоянно, но небольшими шажками. И чтобы сбалансировать прибыль/потери, потери также нужно ограничить, исключить большие и резкие потери.

И это дает нам три варианта: а) ограничить рабочий капитал на рынке до скажем 1/10, минус 9/10 лежат без дела. б) стоп лосс плюс выход из всех позиций после закрытия рынка (через ночь/выходные позиции не держать). в) риск нейтральная позиция, балансировать открытие позиции, открытием похожей позиции в противоход.

( Читать дальше )

Алгоритм трейдинга:

— Есть N предикторов (алгоритмов, закономерностей) найденных на исторических данных. Какие то работали в прошлом, потом перестали, какие то работают до сих пор. Итого несколько десятков или сотен таких предикторов.
— Каждый предиктор сообщает а) знак следущего приращения цены б) амплитуду в) достоверность предсказания (вероятность, насколько он сам уверен что не ошибается).
— И трейдер (тоже алгоритм), который выбирает какой предиктор использовать в данный момент, из доступных N предикторов (может спрашивает у каждого насколько он уверен в предсказании и выбирает максимальный, может как то еще).
— Трейдер так же выбирает сделать ставку сейчас или пропустить и ждать следущего случая. Трейдер не обязан торговать на каждый тик, он может пропускать сотни и тысячи тиков, и совершает продажу/покупку только если считает нужным, например и уверен в своем предсказании. 

Предикторы это небольшие правила, которые смотрят на например прошлую историю цены, скажем 1000 прошлых тиков, возможно также дополнительно какие то другие данные, корреляции и т.

( Читать дальше )

Он упомянул интересные моменты о фонде Медальен:

— Они не используют анализ финотчетности, а только анализ цен и других индикаторов.
— Тем не менее он считает анализ финотчетности рабочим подходом.
— Аномалии которые они используют небольшие (и в других интервью он упоминал что эти аномалии б) со временем исчезают в) поэтому требуется постоянный и ручной поиск новых и новых аномалий). Из этого следует (это уже мои мысли) поскольку аномалии маленькие, их требуется большое число, соотв. это высокочастотный трейдинга с огромным числом сделок, и наверняка скоростными каналами и льготными комиссиями, что недоступно обычным трейдерам.
— Огромные данные и вычисл мощности. В другом интервью 10 лет назд, Robert J Frey бывший глава исследований Медальен упоминал что каждый день Медальен получает и сохраняет порядка нескольких терабайтов (если не ошибаюсь) новых данных.  И в других интервью Джим Симонс также упоминал что они постарались получить все данные до которых только можно дотянуться, в том числе настолько старые насколько возможно, в ранние дни даже во время посещения какой то гос конторы вручную срисовав некий висящий та график со старыми данные.

( Читать дальше )

В симуляциях важна производительность, можно ускорить вычисления за счет болшей памяти а) кеш, это отдельная тема б) приближенной функцией. Где вместо реально и сложной функции используется ее приближение из 100, 1000 или 10000 точек.

count = 1000
ys[i] = fn(x) for x in collect([xmin, xmax], { count })
last_i = count-1

И затем любое значение можно получить как

y = ys[trunc(last_i*(x-xmin))]

Со скоростью 4х операций и хорошей локальностью памяти.

Как вариант можно линейную аппроксимацию, тоже быстро, но это еще быстрее, и точность часто вполне достаточная, ее можно повышать/понижать числом точек.

Языки использующие структуры близкие к железу (C, Nim, и т.п) но часто достаточно JavaScript/Java они также работают достаточно быстро.

П.С. Python/Matlab используют векторизацию и многие типовые операции реализованы эффективно на C, но таки, не всегда удается уложиться именно в эти операции.

Прежде чем запускать калибровку на реальных данных цен, сделал простейший тест — а можно ли его вообще использовать, насколько хорошо он работает?

Калибровка — определение неизвестных параметров для известного распределения, двумя методами — Maximum Likelihood и Bayesian.

а) задал простейшую модель, с известными параметрами, б) сгенерировал с нее огромный сэмпл 10000 точек, в) затем фиттинг на полученном сэмпле и г) сравнение полученных резуьтатов с исходными параметрами.

Тестовая модель, Гауссовский Микс:

weights = [0.5, 0.5], means = [0, 0], sigmas = [1, 2]

Результат, точнее его отсутствие, картина ниже (питоновский код):

Параметры определяются совершенно неверно. Причем случай идеальный, простейшая модель, огромный сэмпл.

Также попробовал другой подход, байесовский метод, и он также дает совершенно неверный результат.

П.С.

Гиперболическое Распределение

Результат пока непонятный (питоновский код) визуально график получaется достаточно похожим, но полученные параметры модели не совпадают с исходными. 

( Читать дальше )

Навеяно статьей о революционной модели для предсказывания числовых рядов "В СибГУТИ разработали алгоритм для быстрого и точного прогнозирования курсов валют, погоды и других процессов".

... Автор метода универсального кодирования и предсказания данных, порожденных стационарными источниками...Рябко Б.Я. открыл асимптотически оптимальные методы прогноза и проверки основных классов статистических гипотез для стационарных эргодических процессов...

Самое смешное, что как эта статья в частности, так и 90% материалов и статей о трейдинге — неосознанно либо осознанно, предполагают и используют методы статистики созданные для стационарных, эргодичных и нормально распределенных процессов.

В то время как в реальности, для рынков и цен - ни одно из этих условий не выполняется.

И получается такое вот отличие прогнозов и ожиданий от реальности:

Книга бомба, целостностно обьясняет обрывки идей с котрыми я работал последние 2 года.

Дает 2 вещи: а) генератор случайного процесса отлично подходящего для финансовых процессов. б) позволяет взглянуть на мир финансов глазами гения, Б. Мандельброта, одного из лучших умов 20 века.

Генератор нужен для Симуляции Монте Карло, для более точного расчета цен опционов, стресс теста порфеля, или агрессивного теста портфеля посмотреть как он захватывает прибыль при возможных колебаниях рынка, для расчета страховки и т.п.

Распределение Парето, Нестационарность, Кластеры Волатильности, Долгосрочные зависимости.



Я бы хотел в следующие неск. месяцев повторить эксперименты Мандельброта, посчитать на реальных данных, построить графики, и своими глазами увидеть эти особенности финансовых процессов. Общеизвестные, как распределение Парето или нестационарность конечно известны давно и я их смотрел. Но ряд моментов которые говорит Мандельброт я не знал, и хотел бы повторить. Что то вроде серии лабораторных работ.

Если кому интересно также повторить эти опыты, оставьте контакты в комментах, в команде лучше лабораторные делать, ошибки заметить, какие то идеи подсказать, я напишу вам через месяц два когда буду делать, можно будет поделиться вычислениями, обсудить и сравнить результаты, одинаково получилось или нет.