Добрый день, коллеги!
Этот пост написан в продолжение дискуссии, начатой
Открытое письмо к VictorGromov. Доколе?! (smart-lab.ru)
К сожалению, сам я в ней поучаствовать не смог, т.к. был мгновенно забанен за систематическое называние VictorGromov большим земляным червяком, не уважающим нас, смердов. Ну и правильно. Чем больше на СЛ будет таких активных и плодовитых авторов, как VictorGromov, тем больше годного контента мы с вами получим. Аминь!
Возьмем какой-нибудь длинный массив котировок. Например, XBTUSD.P (код tradingview.com), которым я давно и успешно торгую. В моменте у меня его аж 2437219 минутных баров. Поскольку биткойн на долгосроке ходит размашисто, возьмем логарифм от цены (не буду повторяться, почему всегда полезно исследовать логарифм от цены, но на коротком сроке это бесполезная модификация).
Пусть x(n) — это логарифм цены
Пусть d(n)=x(n)-x(n-1) — это приращение логарифма цены
В 99% вероятностных подходов к рынку базовой случайной величиной является не цена, а ее приращение (ну, или приращение ее логарифма). Опять же не буду повторяться, почему это удобнее — на этот счет есть 100500 публикаций.
Посмотрим на d(n) как на реализацию случайного процесса. Мы ничего особо не знаем про этот процесс, но можем попытаться оценить матожидание и дисперсию по этой единственной реализации.
Для этого построим график частичных сумм d(1)+...+d(n). Получим мы, ессно, исходный ряд x(n) и вот такой график:
Из него мы видим, что матожидание d(n) скорее всего положительно, дисперсия/СКО высоки по сравнению с матожиданием, так что ничего уверенного про поведение цены в ближайшем будущем мы сказать не можем. Также мы не знаем, стационарны ли матожидание и дисперсия, либо же они меняются со временем.
Теперь построим еще 2 случайные величины:
y(n) = abs(d(n))
z(n) = d(n)*sign(d(n-1))
и применим к ним такую же процедуру.
В первом случае получим график:
Из него мы видим, что матожидание y(n) слабо зависит от времени, а дисперсия мала по сравнению с матожиданием. После детрендирования ряда (исключения из него линии регрессии), можно увидеть колебания около нуля и порассуждать о кластеризации волатильности. Ну и монотонный рост не вызывает у нас вопросов — мы складываем только неотрицательные числа.
Второй случай интереснее:
Это по сути график эквити простейшей реверсивной трендовой линейной торговой системы порядка 1. Из него мы также видим, что матожидание z(n) слабо зависит от времени, а дисперсия мала по сравнению с матожиданием.
Но тут мы уже имеем дело со знакопеременным рядом, так что тот факт, что частичные суммы четко ложатся на асимптотическую прямую, объяснить уже непросто.
ТЕПЕРЬ ВЫ, КОЛЛЕГИ:
1. Берете любую теоретико-вероятностную модель, которую Вы используете для работы на рынке (случайное блуждание, авторегрессионные модели, модели с кластеризацией волатильности, любые кастомные модели с изменяющимися во времени матожиданием и дисперсией) и пробуете воспроизвести этот феномен (последовательность z(n) и график ее частичных сумм).
2. Далее берете любой знакомый вам ряд ценовых котировок (Si, Ri, GAZP, SBER, валюты, индексы, коммодитиз, американские стоки, крипту — вообще все, что угодно, кроме облигаций, дисконтные инструменты можно) и воспроизводите график сумм z(n). Это можно сделать в Excel за 3 минуты. И видите, что магия работает, правда, в 90% случаев у вас выйдет не монотонно возрастающая, а монотонно убывающая функция. Главное, чтобы таймфрейм был малый (1m, но можно юзать 15m, 30m, 1h, дальше — хуже), а количество баров — большое (иначе получатся корявые, а не красивые картинки).
3. Видите, что теоретико-вероятностная модель радикально расходится с реалом. И, чтобы как-то привести ее в соответствие, следует выкрутить корреляцию соседних приращений цен вплоть до +-100% (что не слишком соответствует действительности и не подтверждается графиком выборочной АКФ).
4. Задаете себе вопрос — если в этом тесте теоретико-вероятностная модель показывает одно, а рыночные котировки — совсем другое, то каковы реальные границы применения этой теоретико-вероятностной модели? Будет ли она работать и нести бабло?
Как-то так.
С уважением
P.S. Иногда (редко) вместо 3-го графика получается какой-то фантазийный мусор. В 99.9% случаев это означает, что:
1. Котировки «кухонные»
2. На этом рынке нет ликвидности
3. Вы взяли не все котировки (убрали ночные торги, которыми не пользуетесь)
Других исключений пока найдено не было, но все может быть в теории...
А есть у вас котировки по NG,SPY,NASDAQ?
Есть S&P500, Nasdaq100, Nasdaq500.
Да вообще с котировками особых проблем нет, если есть торгующие знакомые, а тики в минутные бары Вы будете сами конвертировать (это несложно, хотя требует вычислительных ресурсов).
С уважением
Кстати, Вы ниже написали, что Ваши более сложные системы на реале дают более гладкую эквити, чем на приведенных выше графиках.
Это тоже был тонкий троллинг?
(из 3-х графиков к абстрактной эквити имеет отношение только 3-й)
С уважением
Мальчик buybuy, нет, но там есть другая проблема, связанная с тем, что нарисовать эквитей можно даже слово «Счастье», если заниматься машинным обучением до упора совсем.Я потому и написал, что они сильно сложнее.
Для простых моделей этот ваш индикатор Z очень даже крутой, бесспорно. (Наверное на М1 ещё круче). И да, я понимаю к чему вы клоните, но не понимаю вашей… восхищенности сим преобразованием. Я и не такое в жизни подгонял уже. Сам даже не повторю сейчас что я делал… Но получал трендовость при полном провале всех тестов, в том числе на отличие от GBM (ABM). Но по рынку это не выстрелило совершенно, рынок проще оказался )
Не понятно что вы сочли троллингом, я серьезно. Просто рук на все не хватает, а идеи проверить некоторые рынки уже готовы и ждут своего часа )))
С уважением.
Я не восхищаюсь индикатором Z. Это просто наблюдение, которое я сделал в далеком 1999 и с которого началось изучение микроструктуры рыночных цен. А удивительно оно своей простотой.
И мои действующие стратегии, и реал сложнее на много порядков.
Тем не менее, на рынке есть масса ценовых феноменов, которые очень плохо вписываются в подход ТВиМС. О некоторых я писал ранее в своем блоге.
С уважением
Вообще говоря слабо понятно, что означает «совсем другое»?
Модельные ряды дают качество роста 3-4 (шарп)
Реальные… от +2 (Si) до -7 ( комоды).
Мои системы ито более ровные графики выдают чем это всё. Но они посложнее, конечно.
1. График 3, построенный по рыночным котировкам
2. График 3, построенный по теорвер-модели (одна из реализаций)
будут отличаться, как небо и земля.
С уважением
С уважением
Мальчик buybuy,
Вот например график «3» для трендовой модельки :
с кластеризованной волатильностью.
T-test = -8.08, такого даже коммоды не дают качества (от -4, до -7).
А это RI с T-test = -2.1
Не понимаю, что я должен тут такого необычного увидеть???
С уважением.
Поясните, плз, какой конкретно график и какого цвета соответствует графику «3» из моего поста?
С уважением
У Вас работает!
Предыдущие 99+ вариантов, предложенных мне коллегами, этот простой тест не прошли...
Но у меня есть еще много в загашнике)))
А Вам приношу свои искренние поздравления.
ВОПРОС: Позволяет ли Ваша модель получить фантазийный синтетический актив, в котором график «3» будет расти? (я привел такой пример)
С уважением
Пара строк в гроб теоретико-вероятностному подходу к рынкам (smart-lab.ru)
Просто Вы Ri упомянули, а я специально проверят этот феномен на котировках Ri от А.Г.
Ну это в свободное время — не имею морального права подкидывать Вам абстрактные задачки...
С уважением
Мальчик buybuy, на сгенерированных данных очень устойчивый минус по предложенным суммам, на m15 RI ± ноль.
SR, GZ, NG, GD и даже Si — минус, хотя по Si «старая» сумма — плюс. Но если надо положительную сделать, можно и положительную, вопрос в том ещё какие дополнительные условия должны выполняться? Две суммы в хороший + и всё? Или ещё «старая» в минус должна быть при этом?
В принципе-то понятно, что это тест на трендовость, и пройти его легче легкого отдельно, но так чтобы «старая» сумма в минус, а эти обе в плюс и на том же ТФ и так ещё чтобы… в общем можно, но это уже будет не ТВиМС по-моему )
Получил график, весьма неровно падающий вниз. И если за период натуральный логарифм самого индекса вырос примерно на 2, то график Z снизился на 3. Причем картинка весьма негладкая.
Так-то давно известно, что в насдаке и СП500 сидит странный контртренд, который при обычной торговле побивается комиссиями.
Но вот чего я не понял, так это то, какую модель такая картинка должна опровергнуть.
На daily все будет очень коряво
На 1m идеал. Дальше — по мере доступности данных
С уважением
P.S. Хотя на дневках тоже работает. Просто набрать хотя бы 1000000 дневок в наше время затруднительно )))
Но вот у Кота Бегемота все работает кошерно — ему считается.
С уважением
P.S. К конкретному активу этот феномен отношения не имеет — все нюансы микроструктуры цены определяются механизмом клиринга/мэтчинга на конкретной бирже. ТВиМС вообще не оперирует такими категориями, поэтому часто промахивается…
Как по мне, мы ищем работающие алгоритмы, не какую-то безумную параметрику на все времена и рынки.
Я писал свою точку зрения.
Если мы применяем методы ТВиМС к нестационарному процессу с единственной известной реализацией — мы вынуждены делать предположения о структуре такого процесса (как это делает А.Г.).
Именно в этот момент может случиться расхождение применяемой модели с реальным поведением рыночных цен.
А так да — главное — это прибыль и работающие алгоритмы. Однако, формально для этого методы ТВиМС не нужны. А про их применимость — см. выше.
Это как для применимости МНК (метода наименьших квадратов) существуют 4 известных условия. Но почти никто их не знает и почти никто никогда не проверяет...
С уважением
Почему мы хотим, чтобы эквити росла по прямой из левого нижнего угла в правый верхний. Потому что, помимо прочего, это дает надежду, что нашли преобразование, которое из нестационарного ряда делает почти стационарный. Причем в реальности мы мыслим в других терминах.
Нет ли в таком алгоритме ошибки и нет ли переподгонки, если все выглядит слишком хорошо. А эти базовые вопросы вовсе не из теорвера.
Оба графика на глаз — случайный блуждания.
Если берём минутки IMOEX, то эти же преобразования дают нам для d[n] и z[n] «чудо», о котором предлагает задуматься автор:
На втором я вижу нестационарную волатильность, если это Y.
Или все не так?
d[n]=log(x[n])-log(x[n])
z[n]=d[n]*sign(d[n-1])
x для первой пары графиков это генератор случайных чисел.
x для второй пары графиков это IMOEX
Если оставить d(n) — получится как раз y(n) )))
С уважением
P.S. Ну и, если мне не изменяет память, кумулятивная сумма z(n) для IMOEX должна убывать. Или нет?
что для получения этого эффекта у рандомных данных корреляция соседних приращений должна быть очень высока и близка к +-100%.
В этом случае они не будут соответствовать приращениям цен рыночного актива, и выборочная АКФ этих 2-х сущностей будет ощутимо отличаться даже на глаз.
Соответственно, встает вопрос о применимости модели
С уважением
P.S. При отрицательной корреляции сумма должна убывать. Нет?
А это уже любопытно. Не помню, чтобы до минуток считал корреляцию для IMOEX. Возможно, для индекса впервые это сделал))
Раньше от тиков до минуток просчитывал всё это по отдельным бумагам типа SBER, GAZP и тд. Там вроде сплошь до минуток были отрицательные корреляции.
@Мальчик buybuy , можно пойти дальше и нарезать тиковую ленту не по времени, а по другим критериям (цена, объем и тд). И провести те же тесты.
В этом диссере ученик Ширяева сделал такие шаги.
new-disser.ru/_avtoreferats/01002738594.pdf
Что думаете про такое усовершенствование методы ?
Как я показал в предыдущем посте (если рассуждения были понятны), размер позиции тоже можно считать полиномом высокой степени.
Соответственно, для стратегий с ММ я использую индикатор в виде полинома высокой степени от предыдущих значений позиции. Его знак означает сторону позиции, а абсолютное значение — размер.
Далее есть трабл. При любой стандартной аппроксимации (типа МНК) возникают огромные выбросы. Ну т.е. весь финрез будет сформирован за счет нескольких сделок с плечом 1000000. Это невоспроизводимо в реальной торговле.
К счастью, я придумал 2 метода аппроксимации (сложный и очень сложный), которые ведут себя значительно лучше МНК. Грибов пока нет, но я продолжаю активные исследования.
С уважением
P.S. К ММ, зависимому только от капитала или результата последних сделок отношусь резко негативно. Эту задачу я умею решать исчерпывающим образом, но применительно к рыночным ценам грибов там точно нет…
~2,87 млн значений
Вы точно прологарифмировали исходный ценовой ряд?
График 2 выглядит ожидаемо, график 3 — не слишком.
С уважением
Намутил такую систему на 10 минутках. Правила простые, но с учетом комиссий не работают (
smart-lab.ru/blog/452099.php