Блог им. dip

Статистическая значимость. Или не фигней ли вы занимаетесь?

Тема не только для алго трейдеров, и я пытаюсь описать все с помощью 3х математических действий, так что у вас получится дочитать ее до конца и узнать о своем трейдинге больше. Чуть-чуть.

(Картинка, для привлечения внимания и вывода на главную страницу)

Статистическая значимость. Или не фигней ли вы занимаетесь?
Мне показалось удивительным, но ни в фин словаре Смартлаба, ни в поиске по Смартлабу, ни даже в поиске на русском языке по тредерским ресурсам, я, практически, не вижу упоминаниий способов определить статистическую значимость результатов торговой системы или готовых результатов трейдинга.

Вчера, я даже создал тему: https://smart-lab.ru/blog/540321.php для затравки. Народ нарисовал красивые картинки(спойлер: сиськи!). Но ничего не заметил. Люди тестируют торговые системы в экселе, и набирают кучу плюсов на главной. Юлия Князева сливает 40%, и только лишь потом ищет торговую систему. Но… что потом? Вот вы нашли торговую систему. Или вы Вася О., Илья К., и давно и много торгуете, и у вас есть статистика. Возможно в тетрадочке, возможно у брокера.  

Вы задавались вопросом – а не случайны ли результаты вашей ситсемы? Отличимы ли от случайного результаты вашего трейдинга? А не фигню ли вы делаете ?

Несмотря на то, что мало кто об этом пишет, есть люди, которые задавались этим вопросом. Есть много страшных слов: Chi squared, p-value, Z-score(ves2010 – привет!), statistical significance, Monte Carlo (а вы смотрите Формулу 1 ?), null hypothesis итд. Не буду вас грузить деталями, и множеством оговорок, а перейду к сути:

Один из простейших способов проверить статистическую значимость ваших результатов – Chi Squared. Он же Хи Квадрат. Главное, зачем он нужен – отвергнуть так называемую нулевую гипотезу. Гипотезу — что вы – мясо. Ну, т.е вы – сливаете. Вернее даже не сливаете, а случайно блуждаете вокруг нуля. А сливают, за вас, плечи (когда их слишком много и вы не с той стороны распределения), комиссии, проскальзывания, инфляция, и… просто время (опционщики – привет!).

Итак, нулевая гипотеза гласит, что как вы не торгуйте, вы — лишь подмножетсво нормального распределения. Ну т.е. блуждаете как Ёжик в тумане. И для того, что бы доказать свою значимость, вернее значимость результатов – нужно протестироваться и отвергнуть нулевую гипотезу! Умные дяди и тети навернули кучу теории вокруг этой задачи: в общем случае у вас есть куча степеней свободы, у каждой степени свободы возможны положительные и отрицательные исходы, и каждый со своей вероятностью.

Но давайте не забывать зачем мы здесь, ок? Мы – (произностится гордо) – торгуем! И какие уж у нас исходы? Только + или -, так? Если по-простому. Причем, если мы сравниваем себя со случайным распределением, то эти + и – одинаково вероятны (ах, вы знаете про логнормальность распределения цен на рынке? Ах вы молодец! Помолчите пока). А для этого случая, критерий Хи Квадрат до безобразия прост:

Χ2 = (|a-b| — 1)^2 / (a+ b)

(здесь все должны открыть ссылку из начала статьи и пустить слезу умиления).

a – положительные исходы

b – негативные исходы.

Вот и 3 обещанных математических действия. Упс, я забыл про модуль! Вы же проходили в школе модуль ?

Еще умные дяди уже подсчитали для вас, каков должен быть этот самый Хи Квадрат, что бы быть статистически значимым. В разной степени

Выше  10.83, уровень  достоверности(значимости)  99.9%
Выше  6.64, уровень  достоверности(значимости)   99%
Выше  3.84, уровень  достоверности(значимости)   95%

Ну, т.е ниже 95% — вы — просто мясо на рынке. Выше 99% — неплохо. 99.9% — у вас есть шансы. Есть 0.1% что вы заблуждаетесь. 

Обычно, нормальному человеческому мозгу хочется примеров. Их есть у меня:

Допустим вы торговали целый год и сделали 100 трейдов. Торговали одинаковой суммой, с одинаковым тейком и стопом. 53 раза в + и 47 в минус. Ну, т.е. вы превзошли в этом году 95% тех, кто сливает на рынке. Вы — молодец. Так? Или вы делали фигню? Считаем

X2 = (53-47-1)^2/(53+47) = 5^2/100=25/100=1/4=0.25

Сравниваем с табличкой выше и… 0.25 точно меньше 3.84! Вы — блуждали!

Еще раз: 100 трейдов 70 в плюс, 30 в минус:

X2 = (70-30-1)^2/(70+30)=39^2/100 = 1521/100 = 15,21. Вы сильно выше 99.9%!

(тут пытливый ум скажет: ну ежу же ясно – прибыльных сделок намного больше, значит я – король!)

В то же время, какие типичные показатели для трендовой системы среднего пошиба? Как раз наоборот: 30 прибыльных и 70 убыточных. И на смартлабе куча примеров, что они заратывают. Как? (не знаю! где они берут такие нервы?) Ну конечно за счет больших прибыльных сделок и маленьких убыточных. Но, может они одурачены случайностью? может они случайно блуждают ?

X2 = (|30-70|-1)^2/(30+70)=39^2/100=15,21 Отнюдь!

Ну, и так далее. Пытливый ум может захотеть сказать: единица все портит. Я хфт и делаю 53000 положительных и 47000 отрицательных сделок! Что же получится? Пытливый ум может прикинуть сам, и, немного приуныть за хфт

Последняя напоминалочка: Хи Квадрат быстрый и удобный способ прикинуть значимость, но значения из таблички выше рассчитаны на то, что будет хотя бы 30 попыток (у нас это трейды, ага). Если меньше – результаты недостоверны. Но выход есть – если вы чувствуете, что ваш подход с 15 трейдами в 10 лет – это верняк (не ржите, я держу несколько таких систем!), то у вас есть несколько способов – поискать таблички в интернете, для таких бедолаг. Там есть волшебные, посчитанные значения, для случаев “менее 30 попыток”. Либо, вы можете посмотреть в сторону других инструментов, и проверить ваш верняк на них. Если он работает там, то можно попробовать суммировать попытки из разных инструментов. Но, аккуратно Проверяйте уж тогда на всех, а то вы на пути к переоптимизации Я вас не буду учить плохому!

Ну, и конечно, ваш случай может быть случаем убыточным. Но, если убедиться, что ваша убыточность статистически значима, то вы можете подумать о своем трейдинге с другой стороны: что бы иметь то, что никогда не имели, надо делать то, чего никогда не делали

А что же бедолага хфт? Тот, с 53к\47к. Или, что же бедолага имеющий 53/47 сделок, но (новое? Ключевое условие!) не одинаковых? Одурачены ли они случайностью ?

Для ответа на эти вопросы, очевидно, не достаточно знать распределение положительных и отрицательных сделок! Они что-то знают! Но это уже другая тема, НЕ про Хи Квадрат

★24
да на, получи ты уже свой плюсик…
avatar

Андрейка

А смысл проверять статистическую значимость результатов нашего трейдинга?
Чтобы расстроиться, потерять уверенность, впасть в ступор или начать тильтовать?

Рынок сам-то имеет статистически значимые ценовые закономерности?
Если нет, то наша торговля вполне адекватна рынку. Придёт другая фаза рынка — будут другие результаты и нашего трейдинга. 

Но за топик — спасибо.
Ибо, надеюсь, он напугает и оттолкнёт ещё какое-то число яйцеголовых математиков от трейдинга и от наших денежек. 
Вестников (Витковский), мне представляется, что по критерию не пройдёт ни одна заработавшая система. Иначе это был бы математически доказанный Грааль. Все систематические заработки только у рулящих рынком.
avatar

MS

webmarketstat.ru/

— в помощь )) 

p.s. как Вы предлагаете оцифровать эмоции? Это, собственно, и есть 95% успеха.. . 

avatar

Wallstep

Wallstep, а точнее- их отсутствие! (эмоции).
avatar

Makc%

 Трендовики ведь не 1 к 1 торгуют, как влияет если торгуешь 1 к 10?
avatar

Makc%

Сделок слишком мало, если ты не хфт. Ничего толком не посчитаешь. Вот тут когда-то писал как я считаю, особо ничего не изменилось: https://smart-lab.ru/blog/251938.php

То есть условно говоря каждую минуту что мы в сделке считаем «микро-сделкой», тогда нормально.
Во-первых, соотношение положительных и отрицательных исходов не говорит является ли матожидание прибыли положительным. Можно случайно делать сделки с коротким тейкпрофитом и большим стоплоссом. При нулевом матожидание прибыли получим много положительных сделлк
avatar

ivanovr

Во вторых, если стратегия использует выходы не только по TP и SL, то все становится ещё сложнее
avatar

ivanovr

Ну и самое главное — это эффект подгонки, который делает применение каких либо оценок качества мало полезным
avatar

ivanovr

Позволю себе дополнить автора:

Прежде чем начинать серьёзное и трудное дело, очень полезно провести секретный индейский ритуал «Hахуа».

Он заключается в том, что индеец со всей серьезностью спрашивает себя: «Является ли данное занятие выражением глубинных устремлений моего сердца? Действительно ли я хочу именно этого? Буду ли я счастлив, когда буду делать задуманное? Испытаю ли я счастье, когда выполню всё, что задумал? Оправдаются ли мои надежды? Стоит ли эта цель средств, которые придется потратить?»

Практикуйте «Нахуа», и трудных и бесполезных дел в вашей жизни станет гораздо меньше.
https://www.inpearls.ru/



avatar

cangaroo

Пишете грамотный пост про статанализ, а совершаете ошибку новичка: берете статистику сделок. Анализ надо проводить на временном ряде эквити, причём строить его с частотой в 2-3 раза чаще, чем среднее время в позиции, но не реже дневок. И сравнивать по соотношению «доходность-риск» надо отдельно лонги с b&h, а шорты с s&h. Кроме того, для защиты от переоптимизации не помешают критерии относительной (относительно параметров рынка) устойчивости некоторых параметров изучаемого временного ряда  для разных временных интервалов.

А чем Excel то не угодил? Там при помощи VBA можно реализовать любой метод статанализа, тем более в интернете куча уже готовых и бесплатных макросов под него.  Его единственный недостаток — громоздкость с т. з. загрузки компа. 
avatar

А. Г.

А. Г., старичок, что же ты не отвечаешь за свое вранье ..??

вернись в топик  

smart-lab.ru/blog/540481.php
smart-lab.ru/blog/540490.php
А. Г.,  тупо слился  Грчаков...   отказался свое вранье доказывать про своего любовника КРЫСА
А. Г., я далёк от таких умных слов и математики, поэтому мало что понял из вашего комментария)) вы не могли бы объяснить что б было понятно и домохозяйке, зачем всё это, если можно просто посмотреть на «Profit per trade»… т.е. среднюю прибыль на сделку. И если она покрывает комиссию, проскальзывания и т.д. и еще что-то остаётся — значит система статистически значима и является плюсовой. Разве может быть иначе?
Леха Мартьянов (my-trade), качество торговли определяется не только точками смены позиции, но и точками, когда принималось решение о ее неизменности. А последние можно анализировать только по статистике эквити, которую я описал выше. Статистика же сделок отражает только точки смены позиций и потому не дает полной информации о качественности метода торговли. К тому же в статистике сделок легче допустить переоптимизацию.

А конечно для определения допустимого проскальзывания и, соответственно, емкости торговли достаточно статистики сделок.
avatar

А. Г.

Мда, какая чушь
avatar

ICWiener

насколько я понял, бегло ознакомившись с критерием пирсона, формула вообще неверно истолковывается тут.
в оригинале a - частота [сделки с результатом Ra] в реальной выборке
и b — частота [сделки с тем же результатом] в теоретической выборке.
т.е. или и а и б — профиты, или и а и б — лоси. а ставить в одну формулу лоси и профиты не верно.

соответственно, надо как-то моделировать эталонные случайные сделки по случайному закону, то есть нормальное распределение наиболее близкое к наблюдаемому. брать частоты и сравнивать с теми что нагенерила торговая система.

но есть ли в этом хоть какой-то смысл, если мы совершенно точно знаем, что частота лосей будет сильно больше нормальной, а пик = μ — мат ожидание, должен быть в плюсовой зоне?

что-то я лично ничего в этом красивом гуманитарном фантике не вижу.
avatar

ПBМ

ПBМ, вопрос о статистической значимости положительного сдвига в эквити имеет глубокий смысл. Но критерий не вполне удачный. 
avatar

SergeyJu

SergeyJu, отрицательного тоже )
avatar

oerlikon

oerlikon, критерий слома системы.
avatar

SergeyJu

SergeyJu, это будет следующая статья, видимо.
avatar

ch5oh

SergeyJu, мля, да просто нерелевантный. зато какая отличная перепись в плюсах экспертов матстата.
критерий вообще надо использовать в одном единственном случае — при известной ген.дисперсии  и проверке H0(либо для её -дисп- оценки при заданном CL). но оригинальность метода видимо состоит в том, чтобы проверить им  H0 именно относительно mean)))), не считая моментов вообще и даже не считая, че-нить типа (a+b-1)ab/(a+b)^2
flextrader, у меня есть вот такая хорошая книжка:
http://alleng.org/d/math/math369.htm
масса критериев проверки всяческих гипотез. На самом деле, есть критерии для оценивания смещения, свободные от  распределения, непараметрические и так далее. Критериев напридумывать можно всяких. Например, можно взять отношение суммы сделок к сумме их же модулей. А пороговые значения для такой статистики оценить по Монте-карло.  
avatar

SergeyJu

SergeyJu, вот это ближе к трейдингу чем многое из раздела про книжки )
Пафос Респектыч, обычно применяют не те статистистики, которые соответствуют проблеме, а те, которые в институте изучали. Иногда впопад, иногда невпопад. 
avatar

SergeyJu

SergeyJu, а если построить normal distribution по известным из реальных сделок mean и deviation (кодю я на английском), то можно ли сравнивать?

допустим у меня ООС получается пси^2 = 11 (а то и 15, если постараться), значит «я неплох»? ведь всё равно надо проверять реальностью.

цифры частот к примеру такие

E O
20.45 0
67 67
149.93 161
67 25
20.45 50
4.12 31
0.53 8
0.04 0
0 3
вообще похоже на чит, но нету даже всплеска на уровне обрезанных лосей (67)
возможно всплеска нету потому что корзины достаточно толстые 5%
avatar

ПBМ

ПBМ, Ваши цифры мне непонятны. При применении нормальной модели (как и любой другой) возникает проблема соответствия модели данным. Если не лень, можно применить к данным критерий нормальности. Можно забить на отклонения от нормальности. Новиков так делает и читатели счастливы (не все, правда). Но я предпочитаю методы, свободные от предположений о виде распределения. В нормальном случае они слабее, зато робастны. 
avatar

SergeyJu

ПBМ, по одним только сделкам никаких выводов сделать нельзя, потому что надо сравнивать с рынком на котором торговля. Если рынок сам по себе рос, а вы торговали случайно, то сделки будут всё равно в плюс. Если падал, но вы потеряли меньше чем B&H — то это может быть всё равно очень и очень круто
Абсолютно похеру на хи квадрат и на мю овал, если годовой итог трейда с учётом налогов, комиссий и прочего обгоняет инфляцию хотя бы на 3%.
avatar

Olaf Caldmeer

Olaf Caldmeer, изначальный посыл в том, чтобы определить, является ли этот годовой итог результатом случайной торговли, или нет. А то один год будет похеру, а другой нет, а потом снова )
avatar

oerlikon

Допустим вы торговали целый год и сделали 100 трейдов. Торговали одинаковой суммой, с одинаковым тейком и стопом. 53 раза в + и 47 в минус. Ну, т.е. вы превзошли в этом году 95% тех, кто сливает на рынке. Вы — молодец.

Молодец, но тоже — сливала.
С учётом комиссии в описанных условиях безубыток 55/45.
avatar

MS

В то же время, какие типичные показатели для трендовой системы среднего пошиба? Как раз наоборот: 30 прибыльных и 70 убыточных. И на смартлабе куча примеров, что они заратывают. Как? (не знаю! где они берут такие нервы?) Ну конечно за счет больших прибыльных сделок и маленьких убыточных. Но, может они одурачены случайностью? может они случайно блуждают ?

X2 = (|30-70|-1)^2/(30+70)=39^2/100=15,21 Отнюдь!


Ошибочное применение формулы. В условиях неравных тейков и стопов a и b приобретают иной смысл. Это уже не количества положительных и отрицательных исходов, а произведения их на соответствующий вес. Примерно говоря, (при популярных 3:1 частоты будут 1:3) 0,3*3/(0,3*3+0,7*1) =0,56 и 0,7*1/(0,3*3+0,7*1) = 0,44.
Вот 0,56 и 0,44 подставляйте.
avatar

MS

То что результат статистически не значим, еще не говорит о том, что он случаен, вообще то
avatar

alewmt

Что-то вы совсем не правильно делаете.

В критерии должно быть отличие одного распределения от другого, «нулевого», а не разница в "+" и "-". И, соответственно, обязано учитываться EV, а у вас этого нет — только "+" и "-", безотносительно их величины.

А потом, что такое хи квадрат (никогда им не пользуюсь)  — это статистика сравнения распределений(!), а не интегральных результатов. Пример — у вас есть система которая играет в околоплюс  по экспоненциальному закону — вы её сравниваете с нулевым гауссом и получаете… что распределения разные! Из чего отвергаете вывод о том, что ваша система бесполезна, не смотря на то, что она действительно бесполезна.

Здесь нужно не статикой Пирсона пользоваться, а другими оценками.
avatar

Kot_Begemot

Kot_Begemot, +100500 ))
avatar

oerlikon

Kot_Begemot, а, да, так это же интегралы. Те всего две корзинки частот у автора, для положительных и отрицательных сделок, ну так понятнее. Завтра накидаю прогу потестить. 
avatar

ПBМ

ПBМ, 
В статистике принято считать, что общее количество наблюдений (сумма частот) должна быть не менее 50 и ожидаемая частота в каждой градации должна быть не менее 5. Только в этом случае величина, показанная выше, будет иметь стандартное нормальное распределение. 

т.е две корзины — мало. да и всё равно что-то не сходится
откуда в знаменателе второй раз +b..
сравниваю по этой статье
https://statanaliz.info/statistica/proverka-gipotez/kriterij-soglasiya-pirsona-khi-kvadrat/
avatar

ПBМ

ти точно фигню делаешь
avatar

Mfinance club

Есть сезонность, есть циклы, есть просто выжидание 10 лет под дивы)
avatar

Dachnik

Допустим вы торговали целый год и сделали 100 трейдов. Торговали одинаковой суммой, с одинаковым тейком и стопом. 53 раза в + и 47 в минус. Ну, т.е. вы превзошли в этом году 95% тех, кто сливает на рынке. Вы — молодец. Так? Или вы делали фигню? Считаем

X2 = (53-47-1)^2/(53+47) = 5^2/100=25/100=1/4=0.25


Не знаю случайно или намеренно, в качестве примера автор взял распределение от рулетки )) Там как раз перевес в 2,7% в пользу казино. 
Получатся казино — рыночное мясо.
avatar

Valeriy Sokolov


Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.

Залогиниться

Зарегистрироваться
....все тэги
UPDONW