Статистическая значимость. Или не фигней ли вы занимаетесь?

Тема не только для алго трейдеров, и я пытаюсь описать все с помощью 3х математических действий, так что у вас получится дочитать ее до конца и узнать о своем трейдинге больше. Чуть-чуть.

(Картинка, для привлечения внимания и вывода на главную страницу)

Мне показалось удивительным, но ни в фин словаре Смартлаба, ни в поиске по Смартлабу, ни даже в поиске на русском языке по тредерским ресурсам, я, практически, не вижу упоминаниий способов определить статистическую значимость результатов торговой системы или готовых результатов трейдинга.

Вчера, я даже создал тему: https://smart-lab.ru/blog/540321.php для затравки. Народ нарисовал красивые картинки(спойлер: сиськи!). Но ничего не заметил. Люди тестируют торговые системы в экселе, и набирают кучу плюсов на главной. Юлия Князева сливает 40%, и только лишь потом ищет торговую систему. Но… что потом? Вот вы нашли торговую систему. Или вы Вася О., Илья К., и давно и много торгуете, и у вас есть статистика. Возможно в тетрадочке, возможно у брокера.  

Вы задавались вопросом – а не случайны ли результаты вашей ситсемы? Отличимы ли от случайного результаты вашего трейдинга? А не фигню ли вы делаете ?

Несмотря на то, что мало кто об этом пишет, есть люди, которые задавались этим вопросом. Есть много страшных слов: Chi squared, p-value, Z-score(ves2010 – привет!), statistical significance, Monte Carlo (а вы смотрите Формулу 1 ?), null hypothesis итд. Не буду вас грузить деталями, и множеством оговорок, а перейду к сути:

Один из простейших способов проверить статистическую значимость ваших результатов – Chi Squared. Он же Хи Квадрат. Главное, зачем он нужен – отвергнуть так называемую нулевую гипотезу. Гипотезу — что вы – мясо. Ну, т.е вы – сливаете. Вернее даже не сливаете, а случайно блуждаете вокруг нуля. А сливают, за вас, плечи (когда их слишком много и вы не с той стороны распределения), комиссии, проскальзывания, инфляция, и… просто время (опционщики – привет!).

Итак, нулевая гипотеза гласит, что как вы не торгуйте, вы — лишь подмножетсво нормального распределения. Ну т.е. блуждаете как Ёжик в тумане. И для того, что бы доказать свою значимость, вернее значимость результатов – нужно протестироваться и отвергнуть нулевую гипотезу! Умные дяди и тети навернули кучу теории вокруг этой задачи: в общем случае у вас есть куча степеней свободы, у каждой степени свободы возможны положительные и отрицательные исходы, и каждый со своей вероятностью.

Но давайте не забывать зачем мы здесь, ок? Мы – (произностится гордо) – торгуем! И какие уж у нас исходы? Только + или -, так? Если по-простому. Причем, если мы сравниваем себя со случайным распределением, то эти + и – одинаково вероятны (ах, вы знаете про логнормальность распределения цен на рынке? Ах вы молодец! Помолчите пока). А для этого случая, критерий Хи Квадрат до безобразия прост:

Χ2 = (|a-b| — 1)^2 / (a+ b)

(здесь все должны открыть ссылку из начала статьи и пустить слезу умиления).

a – положительные исходы

b – негативные исходы.

Вот и 3 обещанных математических действия. Упс, я забыл про модуль! Вы же проходили в школе модуль ?

Еще умные дяди уже подсчитали для вас, каков должен быть этот самый Хи Квадрат, что бы быть статистически значимым. В разной степени

Выше  10.83, уровень  достоверности(значимости)  99.9%
Выше  6.64, уровень  достоверности(значимости)   99%
Выше  3.84, уровень  достоверности(значимости)   95%

Ну, т.е ниже 95% — вы — просто мясо на рынке. Выше 99% — неплохо. 99.9% — у вас есть шансы. Есть 0.1% что вы заблуждаетесь. 

Обычно, нормальному человеческому мозгу хочется примеров. Их есть у меня:

Допустим вы торговали целый год и сделали 100 трейдов. Торговали одинаковой суммой, с одинаковым тейком и стопом. 53 раза в + и 47 в минус. Ну, т.е. вы превзошли в этом году 95% тех, кто сливает на рынке. Вы — молодец. Так? Или вы делали фигню? Считаем

X2 = (53-47-1)^2/(53+47) = 5^2/100=25/100=1/4=0.25

Сравниваем с табличкой выше и… 0.25 точно меньше 3.84! Вы — блуждали!

Еще раз: 100 трейдов 70 в плюс, 30 в минус:

X2 = (70-30-1)^2/(70+30)=39^2/100 = 1521/100 = 15,21. Вы сильно выше 99.9%!

(тут пытливый ум скажет: ну ежу же ясно – прибыльных сделок намного больше, значит я – король!)

В то же время, какие типичные показатели для трендовой системы среднего пошиба? Как раз наоборот: 30 прибыльных и 70 убыточных. И на смартлабе куча примеров, что они заратывают. Как? (не знаю! где они берут такие нервы?) Ну конечно за счет больших прибыльных сделок и маленьких убыточных. Но, может они одурачены случайностью? может они случайно блуждают ?

X2 = (|30-70|-1)^2/(30+70)=39^2/100=15,21 Отнюдь!

Ну, и так далее. Пытливый ум может захотеть сказать: единица все портит. Я хфт и делаю 53000 положительных и 47000 отрицательных сделок! Что же получится? Пытливый ум может прикинуть сам, и, немного приуныть за хфт

Последняя напоминалочка: Хи Квадрат быстрый и удобный способ прикинуть значимость, но значения из таблички выше рассчитаны на то, что будет хотя бы 30 попыток (у нас это трейды, ага). Если меньше – результаты недостоверны. Но выход есть – если вы чувствуете, что ваш подход с 15 трейдами в 10 лет – это верняк (не ржите, я держу несколько таких систем!), то у вас есть несколько способов – поискать таблички в интернете, для таких бедолаг. Там есть волшебные, посчитанные значения, для случаев “менее 30 попыток”. Либо, вы можете посмотреть в сторону других инструментов, и проверить ваш верняк на них. Если он работает там, то можно попробовать суммировать попытки из разных инструментов. Но, аккуратно Проверяйте уж тогда на всех, а то вы на пути к переоптимизации Я вас не буду учить плохому!

Ну, и конечно, ваш случай может быть случаем убыточным. Но, если убедиться, что ваша убыточность статистически значима, то вы можете подумать о своем трейдинге с другой стороны: что бы иметь то, что никогда не имели, надо делать то, чего никогда не делали

А что же бедолага хфт? Тот, с 53к\47к. Или, что же бедолага имеющий 53/47 сделок, но (новое? Ключевое условие!) не одинаковых? Одурачены ли они случайностью ?

Для ответа на эти вопросы, очевидно, не достаточно знать распределение положительных и отрицательных сделок! Они что-то знают! Но это уже другая тема, НЕ про Хи Квадрат