Блог им. Mackenna

О везучих дураках. Продолжение.

Здравствуйте, дамы и господа!

Наверное, каждый трейдер сталкивался с проблемой выбора торговой системы. И каждый трейдер имеет свой взгляд на применимость тех или иных критериев сравнительной оценки их эффективности. Например, одни считают главным критерием «профит-фактор», другие – «скорректированную доходность», рассчитанную без учета нескольких наиболее результативных сделок, предположительно случайных, а некоторые отдают предпочтение коэффициенту Шарпа.

Некоторое время назад я уже писал о том, чем меня не устраивают традиционные и популярные у трейдеров критерии оценки эффективности торговли, и почему я предпочитаю использовать в этом качестве тангенс угла наклона прямой, аппроксимирующей кривую доходности, скорректированный на коэффициент корреляции между прибылью и временем, затраченным на ее получение (см. статью «О везучих дураках»).

Я по-прежнему считаю, что поскольку речь идет об оценке торговой системы, то важнейшим фактором ее работы является систематическое, стабильное получение прибыли и этот процесс должен описываться адекватной статистической моделью.

Как показала практика, проблему выявления торговых систем, высокая результативность которых обусловлена случайными высокоприбыльными сделками, а не истинностью гипотезы о поведении котировки, определяющей торговые правила, предложенный мной ранее метод решает не вполне и вероятность допущения серьезной ошибки при оценке эффективности торговой системы остается.

Проиллюстрирую примером. Оценим эффективность двух торговых систем, «First» и «Second», с помощью каждой из которых в течение года получена прибыль 30%:

О везучих дураках. Продолжение.

О везучих дураках. Продолжение.

О везучих дураках. Продолжение.

Из данных в вышеприведенной таблице видно, что ТС «Second» по всем критериям эффективности превосходит ТС «First», даже несмотря на меньший коэффициент корреляции между прибылью и временем, затраченным на ее получение, то есть худшую стабильность получения прибыли. Но адекватно ли линейная модель отражает наблюдаемую динамику прибыли и можно ли основываясь на ней сделать прогноз доходности этих ТС в будущем? Очевидно, что прибыль ТС «Second» получена в результате одной, возможно, совершенно случайной сделки, поэтому ни о каком линейном росте прибыли и речи быть не может. 

Попробуем оценить адекватность линейной регрессионной модели фактически наблюдаемым данным традиционным способом — при помощи критерия Фишера:
                                                                          О везучих дураках. Продолжение.

где R2 – коэффициент детерминированности;
k – число факторов, учитываемых моделью;
n – число наблюдений.

Для ТС «First» критерий Фишера равен 1067.6, а для ТС «Second» — 149.6, что значительно больше критических табличных его значений. То есть, согласно критерию Фишера, обе модели адекватно оценивают наблюдаемые данные результативности работы обеих торговых систем и позволяют делать прогнозы их доходности. С чем я категорически не согласен.

Попробовав другие методы проверки статистических гипотез, критерий Стьюдента, проверку равенства нулю матожидания остатков, метод «поворотных точек» и пр., я пришел к выводу, что наилучшим образом адекватность модели наблюдаемым результатам торговли оценивает F-тест Фишера. Excel дает следующее описание функции F.ТЕСТ(): «…возвращает двустороннюю вероятность сходства двух совокупностей». Эта функция – частное от деления дисперсий двух выборок (в нашем случае наблюдаемые и расчетные по модели значения доходности торговой системы), которое и принимается, как вероятность того, что обе выборки являются частями одной генеральной совокупности. «Двусторонняя» означает, что мы не знаем заранее, которая из выборок имеет бОльшую дисперсию.

F-тест для ТС «First» дал вероятность 0.88 – модель адекватна и пригодна для прогнозирования доходности торговли, а для ТС «Second» - вероятность 0.34, что означает непригодность построенной модели для прогнозирования будущей прибыли от сделок.

В случае, если системы адекватно описываются моделями (F-тест > 0.5), для количественной объективной оценки их эффективности следует принять комплексный показатель – произведение тангенса угла наклона аппроксимирующей кривую доходности прямой и F-теста. В нашем случае, для ТС «First» этот показатель будет равен:

0.0722 х 0.88 = 0.0635;

что означает математическое ожидание прибыли при торговле по правилам системы около 0.06% в день.

Профита всем!

Если статья вам понравилась, жмите сюда,

                                  А если нет, то сюда.

 









★19
Главное — получить прибыль, а каким способом — дело десятое! :)
avatar

Fedia

Fedia, возможно, Вы правы. Но книги и статьи содержат огромное количество описаний разных «граалей», поэтому хочется иметь надежный способ отделять «мух от котлет» :)
Mackenna, например применить обыкновенную логику
Да нет грааля, есть инсайд. У нас биржа насквозь манипулятивная. Зайдите в шорт или лонг, ну, например, Арофлота на 200 лямов и сразу станет понятно в чем смысл. Получите противоход или что то в том роде.
Смотреть здесь - http://www.novik.ru/main.html
avatar

Mihom

У нас биржа насквозь манипулятивная


Mihom, совершенно с Вами согласен — наблюдал в 2009 как на ФС ММВБ ВЭБ гонял котировки в пустых стаканах, как шарик от пинг-понга. В том числе и поэтому я ушел на форекс. Здесь тоже не все радужно, но манипулировать ценами значительно сложнее.

Mackenna,  ВЭБ с госбаблом был на рынке с октября по декабрь 2008-го. В январе 2009-го все его ждали, а он не пришёл и от неожиданности рынок провалили. Больше ВЭБ не появлялся, а тренд-2009 сделали нерезы. 
А. Г., охотно верю, дело давнее, я вполне мог напутать с датами.
А. Г., Кстати, вспомнил как покупал Сбербанк ровно по 14 рублей, вышла новость, что Сбербанк получил огромный спец. кредит (названия не помню) и акция пошла в рост, а за ней и весь рынок.
Красота! предпочитаю использовать в этом качестве тангенс угла наклона прямой, аппроксимирующей кривую доходности, скорректированный на коэффициент корреляции между прибылью и временем, затраченным на ее получение
Михаил, согласен — изложено не лучшим образом, но иначе я не сумел. Надеюсь, из контекста статей ясно, о чем речь, и читатели простят мне косноязычие :)
Mackenna, другими словами возможно это бы звучало как производная прибыли по времени)
Хмм. Очевидно, что эффективность ТС «First» выше. А не проще воспользоваться фактором восстановления? В выборке результатов тестирования он как раз показывает наиболее привлекательную кривую дохода.
Кирилл, не проще. В том все и дело, что фактор восстановления у ТС «Second» выше (второй показатель в таблице критериев эффективности), — при равной доходности относительная просадка больше у первой системы.
Mackenna, Ага, вижу, действительно. У второй системы просадки меньше по размеру и она из них выходит быстрее, быстрее восстанавливается
Не все так просто в этом мире. Возьмем для примера трендследящие системы. Они «любят» одни типы рынков и не любят другие. Одни годы дают очень хорошие результаты, другие так себе, хорошо если не минус. Следовательно, о линейной эквити или хотя бы о равномерной доходности говорить не  приходится. Нет в мире совершенства. 
avatar

SergeyJu

Это всё пригодно разве что для сферической стратегии в вакууме. В реальности всё сложнее
avatar

wrmngr

Автор  похоже пытается сравнивать идеальные котртрендовые (First) и трендовые (Second) модели системы. Проблема в том, что это именно модели, лишь отдаленно напоминающие поведение реальных систем. 
Дмитрий Овчинников, я сравниваю не системы, а об'ективные критерии оценки их эффективности.
Mackenna, 
тогда вы пытаетесь найти объективные критерии оценки чего-то иного, но не торговых систем.
Сначала делается тест Дики-Фуллера — с большой долей вероятности эквити не является TS рядом, а поэтому применять к нему F-тест неправильно. 
avatar

Михаил

Кстати,
судя по виду ваших эквити, у них никак не может быть одинаковым коэфициент Шарпа. У системы «Second» он должен быть существенно меньше!

Дмитрий Овчинников, они примерно равны, 0.384 против 0.375, я округлил до сотых.
Mackenna, 
покажете расчет?
Дмитрий Овчинников, нет, не сохранил к сожалению. Повторять не буду, ибо это не принципиально. Кэфом Шарпа можно оценивать только риск при равных доходностях ТС, как в моем примере. На практике такое почти не встречается.
Mackenna, 
и вот так везде у теоретиков: тут смотрите, тут не смотрите, а тут я рыбу заворачивал.
Вам указывают на ошибку, вы говорите — это не принципиально. Зачем тогда выкладываете все эти «расчеты»? 
Дмитрий Овчинников, если Вы не понимаете зачем — проходите мимо, статья не для Вас. И не переоценивайте свой глазомер. Вы, часом, тангенс угла наклона линии регрессии на глаз не определяете? :)
Mackenna, 
что-то сегодня каждый второй автор хамит в комментариях. Не указывайте, пожалуйста, что мне надо делать. Это, по меньшей мере, не прилично.
Направление верное, но не учитывается, что разная волатильность рынка не может не отражаться в разной волатильности эквити даже хорошей системы
avatar

А. Г.

из практики торговать второе не стал бы, так как то инет вылетит, то куда то надо отъехать(если лапками торгуешь) то вирт сервер сбойнет и по закону подлости именно на такой ударной сделке)
avatar

matroskin

Только ТС Секонд. Колебания в пределах 1 %.
Фёсту повезло, что он встал на трэнд, но колебания в 6% на спокойном рынке приведут к колапсу. Фёст будет жить до первого чёрного лебедя.
avatar

BenBernanke

BenBernanke, Колебания в 6%, которые не учитывает система «Первая» — ограничиваются стопами.
И не обязательно «по тренду» эта система.
Может быть контренд на младших таймфреймах.
Я такого бота писал, лет 10-ть назад, он  работал «контртренд» на младших, но если импульсное вливание — становился тупо по тренду и брал на откатах.
Сейчас — такое не работает, очень большая волатильность бывает…
Частное мнение.
Ни одна ТС не может учитывать всевозможные ситуации на Рынке.
Исходя из этого, давно пришел к Выводу, что нужно использовать десятки… сотни ТС в завивисмости от Ситуации, сентимента, фундамента, инсайда и пр.пр. и Главное, это Управление Капиталом.
Если у Вас 100 процентные данные о том или ином предстоящем движении — играем «на всю котлету».
Если Вероятность снижается — снижаем и риски.
В ТС «секонд» — используется вариант «на всю котлету», но Никто не запретит… использовать обе системы в течение Года.

avatar

Stocker

Натягиваете желаемое на действительное.
По итогу вашим критериям будет удовлетворять только реверсная стратегия. 
avatar

Kot_Begemot


....все тэги
UPDONW