Блог им. Foudroyant

Как диагностировать поломку системы?

Можно ли диагностировать поломку торговой системы следующим образом?

1. Накладываем на эквити коридор из 3 сигм.

2. Поломкой ТС считаем начавшийся частый выход эквити за границы данного коридора? 

Это будет означать, что тот участок эквити, что был ранее, не имеет никакого отношения к тому участку, что наступил далее - начался независимый временной ряд.

То есть система утратила контроль над событиями и процесс стал для трейдера неуправляемым.

И, соответственно, если это правило не нарушено, то система в порядке, если даже длительное время не отвечает ожиданиям. 

 

Если Вы торгуете по определённым правилам, то предполагаете, что Ваши действия оказывают некое значимое влияние на колебания эквити. Так как правила одинаковые, то эквити должна находиться внутри коридора 3 сигм. 

Плановый слив — системная просадка.

Внеплановый слив — утрата системой контроля над эквити.

Если мы уже много раз отторговали цикл рост-просадка-рост-просадка, то все наши просадки — «плановый слив» — должны укладываться в коридор.

А если вдруг у нас два раза коридор пробило при сливе — значит это уже нечто большее, чем системная просадка, уже тревожный звонок, что процесс более Вами не контролируется.

А если при смене нескольких правил торговли эквити всегда укладывается в коридор, то это означает, что трейдер никогда и не контролировал свою торговлю, её результаты никогда и не зависели от его действий. 

 

★4
58 комментариев
начавшийся частый выход
насколько частый? Сколько времени ждать?
Активный Инвестор, допустим, пару раз за месяц, если торгуете на дневках. По идее, это вообще почти невероятное событие.
avatar
Foudroyant, 
допустим, пару раз за месяц
 то есть речь идет о ручной торговле?

Активный Инвестор, это не важно. Так можно любую эквити проверять, мне кажется.

 

Если Вы торгуете по определённым правилам, то предполагаете, что Ваши действия оказывают некое значимое влияние на колебания эквити. Так как правила одинаковые, то эквити должна находиться внутри коридора 3 сигм. 

Если же эквити вдруг явно выходит из коридора, значит процесс более Вами не контролируется.

А если при смене нескольких правил торговли эквити всегда укладывается в коридор, то это означает, что трейдер никогда и не контролировал свою торговлю, она всегда была независимой от его действий. 

Но это предположение, нуждающееся в проверке.

avatar
Было бы неплохо приложить пару картинок для тупых испытывающих сложности с пониманием абстрактных вещей.
На одной картинке: нет поломки, но система льет. На другой: есть поломка, но система зарабатывает.

Дмитрий Овчинников, тут нужно учитывать, что «льёт» может быть разным.

Плановый слив — системная просадка.

И внеплановый слив — утрата системой контроля над эквити.

Если мы уже много раз отторговали цикл рост-просадка-рост-просадка, то все наши просадки — «плановый слив» — должны укладываться в коридор.

А если вдруг у нас два раза коридор пробило при сливе — значит это уже нечто большее, чем системная просадка, уже тревожный звонок.

Насчёт картинок — подумаю, но рисовать сложно.  

avatar
Так как любая система зарабатывает не всегда, а только когда соответствует определенному состоянию рынка, то «начавшийся частый выход эквити за границы данного коридора» это период неблагоприятного состояния рынка для данной системы. И как только прекращаем торговлю, состояние рынка с большой вероятностью поменяется на благоприятное и потеряем незаработанную прибыль.

♎ Дядя Ваня SпекулянтЪ ©, на это ответил: 

smart-lab.ru/blog/722871.php#comment12957687

То есть периоды «планового слива» после многократного повторения цикла «рост-просадка» должны укладываться  в диапазон. 

avatar
Не очень понятно, что вы там за коридор строите.
Эквити — случайное блуждание. В соотвествии с законом повторного логарифма при сохранении качества алгоритма эквити будет лежать в расширяющемся коридоре порядка sqrt(t*ln(ln(t))) относительно прошлого тренда.
Для более формальной проверки гипотезы изменения тренда можно например воспользоваться формулой на второй странице статьи Time-uniform, nonparametric, nonasymptotic confidence sequences
avatar
Михаил, плюсанул за квалификацию

ОДНАКО
Ни цена актива, ни эквити не являются случайным блужданием.

С другой стороны, эквити практически любой ТС наследует те же закономерности, которые проявляет ценовой ряд.

С уважением
avatar
Мальчик Buybuy, до конца не понял вас. Понятно, что в реальном мире нет идеальных случайных блужданий. С этой оговоркой, как в первом приближении с вашей точки зрения ведет себя эквити?
avatar
Михаил, не отвечу

1. Долго
2. Пока не готов делиться наработками

Однако намекну, что на малых таймфреймах АКФ процесса приращений цен очень похожа на АКФ процесса приращений эквити.

С уважением
avatar
Михаил, если трейдер может управлять формой эквити, разве её можно считать случайным блужданием?
avatar
Foudroyant, я говорю в первую очередь про системную торговлю. Вы придумали систему, неким образом протестировали ее. Узнали что в единицу времени (или на единичную сделку) она в среднем приносит M рублей с неким разбросом S. Дальше вы ее эксплуатируете t периодов. Если параметры системы сохраняются, то ваша эквити будет вести себя, как сумма t случайных величин. 
Про такую случайную последовательность известно, что ее ожидаемая величина в момент времени t равна M*t, а разброс S*sqrt(t), при этом она гарантировано рано или поздно пробьет любую границу порядка S*sqrt(t), но будет оставаться в границе порядка S*sqrt(t*ln(ln(t))) от ожидаемого значения. Более точная формула вероятности пробития границы указана выше. Соответсвенно ее можно использовать для проверки гипотезы, что ваша стратегия перестала работать, как было задумано.
avatar
Михаил, 
Эквити — случайное блуждание.
Сильное заявление.
Дмитрий Овчинников, разговор про разумное первое приближение, которое можно использовать для проверки гипотезы, что стратегия перестала работать, как задумано. А как вам кажется в первом приближении ведет себя эквити?
avatar
Михаил, 
эквити обычно ведет себя так, как задумано создателем системы. Если она ведет себя не так, значит система сломалась.
Если эквити изначально ведет себя, как случайное блуждание, значит или создатель идиот или… даже не могу придумать что.

Дмитрий Овчинников, пришлите мне на [email protected] файлик с примером характерного для вас эквити — посмотрим, пройдет ли оно тест на отклонение гипотезы о случайном блуждании.
avatar
Михаил, а если не пройдёт — какой из этого вывод? Что трейдинг не имеет смысла?
avatar
Foudroyant, извените не правильно прочитал. Если мы подтвердим гипотезу случайного блуждания, то разумно использовать предложенный мной тест. Если отклоним, то лучше использовать тест для рядов TS типа. 
avatar
Михаил, 
извините, мне это не интересно. Вы можете найти здесь огромное количество разнообразных эквити для исследований. 
Спасибо!

Михаил, вот такую, например, эквити можно ли рассматривать как случайное блуждание?

Пусть даже в первом приближении.

avatar
Foudroyant, на глаз я не готов сказать:) Нужен результат теста Дики — Фуллера, например.
avatar
Михаил, а верите, что можно при помощи алгоритмов рисовать разные фигуры на эквити? Немного размытые, с трудом — но всё же. 
avatar
Foudroyant, 
прямые линии?



Дмитрий Овчинников, да разные, главное, чтобы не сложные. Но даже это должно опровергать тот факт, что эквити — случайное блуждание.
avatar
Foudroyant, еще раз, я про системную торговлю — вы взяли некий алгоритм и последовательно его используете, а не специально меняет стратегию, чтобы чего-то там нарисовать. 
Ну, и пример вам случайного блуждания — я сгенерил этот график, как случайное блуждание.
avatar

Михаил, ну так алгоритмы ведь тоже рисуют желаемую эквити, с переменным успехом. 

Применительно к Вашему графику: может ли он, оставаясь случайным блужданием, когда-нибудь в будущем вернуться на значение 1 по оси y? 

avatar
Foudroyant, так как у него по построению дрифт 1, а СКО 0,5, то с вероятность близкой 1 нет. 
avatar
Михаил, так если Вы можете изначально задавать параметры, запрещающие определённые траектории движения, то можно ли это считать истинным случайным блужданием? Это уже предрешённость какая-то получается. 
avatar
Foudroyant, я не знаю, что такое «истинное случайное блуждание». Случайным блужданием обычно называют последовательность сумм одинаково распределенных случайных величин. Теория вероятности, в том числе различные предельные теоремы, налагают определенные ограничения на достижимые траектории.
avatar

Михаил, под истинным имею в виду то, что действительно является таковым, а не только похоже внешне, на графике. 

 

avatar
Foudroyant, в реальном мире мы не можем доподлинно знать, является оно или нет таковым. Мы может выдвигать гипотезы и с помощью статистических тестов отклонять их или с некой вероятностью подтверждать. 

avatar
Михаил,  как трейдеру тогда понять, что его заработок — это следствие его работы, а не случайности? Тест Дики-Фуллера?
avatar
Foudroyant, я бы схематично действовал так.

Провел тест Дики-Фуллера. Если гипотезу об наличии случайного блуждания не удалось отклонить, то я бы стал действовать из предположения, что мое эквити очень похоже на случайное блуждание.

Как трейдера меня интересует, чтобы дрифт случайного блуждания был как минимум положительным. Возможно у вас какие-то более строгие требования — как вариант дрифт должен быть минимум сколько-то рублей в день на контракт.
 
Дальше мы делаем оценку дрифта и его СКО на истории. На основе полученных данных проводим статистический тест на превышения величины дрифта над нулем или установленным вами минимумом. Если данных достаточно много и разброс у вас достаточно симметричный, то можно использовать t-test. Если данных мало или сильная асимметрия, то тест Манна — Уитни или bootstrap.

Если тест прошел, то стратегию можно начать использовать.

Дальше исходя из полученных оценок дрифта и СКО пользуясь указанными в первом комментарии формулами, можно построить границы, в которых должно лежать эквити, если стратегия продолжает работать, как в тестах. В процессе использования, отслеживается эквити и расчетные границы для него — в случае их пробоя, имеет смысл приостановить использовать стратегию.
avatar
Михаил, можно я предложу пройти эту проверку местным «авторитетам»? 
avatar
Foudroyant, не понятен смысл такой проверки.

Большинство тут со статистикой не дружит и действует по какому-то наитию. АГ со статистикой дружит, но действует немного по-другому. Тест Дики-Фуллера не делает, потому что для него очевиден результат. На этапе анализа использует тест Манна — Уитни, а bootstrap заменяет на для многих более нагляднуый аналог — МК симуляцию. Дополнительно проводит разного рода тесты на устойчивость. В общем у каждого своя кухня.
avatar

Михаил, смысл: понять, кто из трейдеров действительно умеет управлять.

МК-симуляция — это что?

avatar
Foudroyant, умение управлять проверяется по-другому. Тут один человек делает такие тесты — советую почитать. Я больше про подходы к разработке системы и их мониторинга. 
avatar
Foudroyant, МК-симуляция — это что: Монте-Карло симуляция. Вы берете свои оценки случайного блуждания (дрифт и форму разброса) и генерируете множество потенциальных траекторий эквите. Часто графически. Смотрите, как они могут выглядеть. Рассчитываете какие-то параметры. Например можете посмотреть в каких границах потенциально может лежать эквити (вопрос, который вас изначально интересовал). АГ сказал на последнем выступлении, что любит считать 5% снизу процентиль для возможных траекторий.  Bootstrap тоже самое, только без графиков и с некими формальными стат тестами.
avatar
Михаил, тест Дики-Фуллера нужен для проверки эквити на стационарность?
avatar
Foudroyant, нулевая гипотеза в тесте — наличие единичного корня, или иными словами наличие случайного блуждания. То есть вы пытаетесь отклонить гипотезу наличия случайного блуждания, в пользу гипотезы, что ваше эквити стационарно относительно тренда.

Если вы получите низкое p_value=0.01-0.05, то гипотезу о случайном блуждании можно отклонить. В этом случае надо по другому анализировать ситуацию. 
 
avatar
Михаил, «ваше эквити стационарно относительно тренда» — относительно какого тренда?
avatar
Foudroyant, если стационарность относительно тренда подтверждается тестами, то есть способы оценки параметров этого тренда. В самом простом случае — банальная линейная регрессия. Но на практике условия Маркова-Гаусса, которые нужны для построения обычно линейной регрессии редко выполняются, поэтому нужно использовать более сложные методы.
avatar

Михаил, и ещё вопрос:

1. Берём 1 случайное блуждание, например, ценовой ряд.

2. Совмещаем его с неслучайным фактором, например, с правилом: «Давай прибыли течь, режь убытки».

3. На выходе получаем А+Б = В, где:

А — ценовой ряд

Б — правило соотношения тэйка и стопа

В — создаваемая ими эквити.

В таком случае, эквити — тоже случайна? Она производна от 1 случайной и 1 неслучайной величины.

avatar
Foudroyant, тут скорее A + Б, а Б(A), где Б некая функция от случайной величины. Для очень редких функции результат будет не случайным.
avatar
Михаил, «для очень редких функции результат будет не случайным» — а что общее у этих редких функций? Что позволяет им быть неслучайными, в отличие от большинства?
avatar
Foudroyant, например если вы умножите на 0 случайную величину, то получите не случайны ноль. С точки зрения практики трейдинга, парная торговля на основе коинтеграции пытается сделать из двух случаных величин одну не случайную. На практике обычно случайность остается, но иногда она гораздо меньше исходной. 
avatar
Михаил, «парная торговля на основе коинтеграции» — это что, например? Пара «Сбербанк-ао — Сбербанк-ап»?
avatar
Foudroyant, обычно лучше фьючерс против базового актива. Но на практике даже в этом случае бывают сюрпризы, как с отрицательной ценой на нефть. 
avatar
Коридор эквити в 3 сигмы? Эм… вы уверены что не захотите выкинуть такую ТС раньше чем диагностируете поломку? хотя бы из соображений DD.
avatar
Serj90, так он же у любой системы будет. Например, у восхваляемой системы «Индекс».
avatar
Foudroyant, я понимаю, но я говорю о том, что из условий в посте следует, что если эквити достигла границы коридора в 3q то это сигнал к утилизации ТС. Теперь давайте представим, что случилось с вашей торговле на участке эквити, где она пробила коридор в 3 сигмы? Краткий пример, у ТС допустимый DD равен 2%, макс прибыль 10%. Мы работаем по месяцам и условимся что ТС работает прямо по максимальным значениям, т.е.

каждый четный месяц — ТС приносит всегда 10% прибыли.
каждый нечетный месяц — ТС приносит всегда -2% к депо (убыток).

Рассчитать отклонение. Получить сигму, умножить её на 3.
Теперь представим что наша эквити пришла в нижнюю границу такого коридора. Это безумная просадка очень далекая от требуемых 2%. Или я где-то не так считаю
avatar

Serj90, в этом примере получается, что Вы пробитие обычной просадки уже считаете поломкой системы?

Но откуда взять норматив той обычной просадки? Из тестов?

Так ведь, в действительности, что-то может пойти не так, как в тестах. И нужен какой-то ещё ориентир — чтобы отличить «поломку ТС» от «несоответствия работы ТС на тестах и в действительности».

 

avatar
Foudroyant, в этом примере по истечению 12 месяцев эквити у нижней границы коридора наяву будет выражена в схлопывании депо в больше чем в 2 раза.

Посчитайте сами.
Входное депо 1000 рублей. Торги проводим в 2021 году:
январь + 10%
февраль -2%
....
Ноябрь +10%
Декабрь -2%

Берем эквити и считаем сигму, умножаем на 3, и считаем что в январе 2022 года наша эквити упирается в нижнюю границу коридора в 3q. Сравниваем значение нижней границы и депо на начало января 2021 года. Это жесть((
avatar
Serj90, выходит, у «моего теста» слишком большой «стратегический стоп»?
avatar
Foudroyant, очевидно да. Скорее всего подход в отклонениях на сигмах применим немного некорректно. Я провел оценку «рабочая ТС / не рабочая» путем применения коридора из сигм исключительно для прибылей ТС. Ну то есть возвращаясь к примеру с месяцами, я бы оценивал коридор для только для результатов с положительными месяцами (ну то есть мы сознательно значение эквити в убыточные месяцы и оставляем только положительные):

Входное депо 1000 рублей. Допустим все месяцы в +. Торги проводим в 2021 году:
январь + 10%
февраль +2%
....
Ноябрь +10%
Декабрь +2%

Считаем эквити, считаем сигму * 3, получаем нижнюю границу для депо. При достижении этой границы говорим, что система не алё))) Там и допустимый DD будет выбит.

Проблема у этого варианта, что по мере работы ТС с каждым новым месяцем депо может расти быстрее, чем будет трейлиться этот «стратегический» стоп.
avatar

теги блога Foudroyant

....все тэги



UPDONW
Новый дизайн