Блог им. Mackenna

О везучих дураках. Продолжение.

Здравствуйте, дамы и господа!

Наверное, каждый трейдер сталкивался с проблемой выбора торговой системы. И каждый трейдер имеет свой взгляд на применимость тех или иных критериев сравнительной оценки их эффективности. Например, одни считают главным критерием «профит-фактор», другие – «скорректированную доходность», рассчитанную без учета нескольких наиболее результативных сделок, предположительно случайных, а некоторые отдают предпочтение коэффициенту Шарпа.

Некоторое время назад я уже писал о том, чем меня не устраивают традиционные и популярные у трейдеров критерии оценки эффективности торговли, и почему я предпочитаю использовать в этом качестве тангенс угла наклона прямой, аппроксимирующей кривую доходности, скорректированный на коэффициент корреляции между прибылью и временем, затраченным на ее получение (см. статью «О везучих дураках»).

Я по-прежнему считаю, что поскольку речь идет об оценке торговой системы, то важнейшим фактором ее работы является систематическое, стабильное получение прибыли и этот процесс должен описываться адекватной статистической моделью.

Как показала практика, проблему выявления торговых систем, высокая результативность которых обусловлена случайными высокоприбыльными сделками, а не истинностью гипотезы о поведении котировки, определяющей торговые правила, предложенный мной ранее метод решает не вполне и вероятность допущения серьезной ошибки при оценке эффективности торговой системы остается.

Проиллюстрирую примером. Оценим эффективность двух торговых систем, «First» и «Second», с помощью каждой из которых в течение года получена прибыль 30%:

О везучих дураках. Продолжение.

О везучих дураках. Продолжение.

О везучих дураках. Продолжение.

Из данных в вышеприведенной таблице видно, что ТС «Second» по всем критериям эффективности превосходит ТС «First», даже несмотря на меньший коэффициент корреляции между прибылью и временем, затраченным на ее получение, то есть худшую стабильность получения прибыли. Но адекватно ли линейная модель отражает наблюдаемую динамику прибыли и можно ли основываясь на ней сделать прогноз доходности этих ТС в будущем? Очевидно, что прибыль ТС «Second» получена в результате одной, возможно, совершенно случайной сделки, поэтому ни о каком линейном росте прибыли и речи быть не может. 

Попробуем оценить адекватность линейной регрессионной модели фактически наблюдаемым данным традиционным способом — при помощи критерия Фишера:
                                                                          О везучих дураках. Продолжение.

где R2 – коэффициент детерминированности;
k – число факторов, учитываемых моделью;
n – число наблюдений.

Для ТС «First» критерий Фишера равен 1067.6, а для ТС «Second» — 149.6, что значительно больше критических табличных его значений. То есть, согласно критерию Фишера, обе модели адекватно оценивают наблюдаемые данные результативности работы обеих торговых систем и позволяют делать прогнозы их доходности. С чем я категорически не согласен.

Попробовав другие методы проверки статистических гипотез, критерий Стьюдента, проверку равенства нулю матожидания остатков, метод «поворотных точек» и пр., я пришел к выводу, что наилучшим образом адекватность модели наблюдаемым результатам торговли оценивает F-тест Фишера. Excel дает следующее описание функции F.ТЕСТ(): «…возвращает двустороннюю вероятность сходства двух совокупностей». Эта функция – частное от деления дисперсий двух выборок (в нашем случае наблюдаемые и расчетные по модели значения доходности торговой системы), которое и принимается, как вероятность того, что обе выборки являются частями одной генеральной совокупности. «Двусторонняя» означает, что мы не знаем заранее, которая из выборок имеет бОльшую дисперсию.

F-тест для ТС «First» дал вероятность 0.88 – модель адекватна и пригодна для прогнозирования доходности торговли, а для ТС «Second» - вероятность 0.34, что означает непригодность построенной модели для прогнозирования будущей прибыли от сделок.

В случае, если системы адекватно описываются моделями (F-тест > 0.5), для количественной объективной оценки их эффективности следует принять комплексный показатель – произведение тангенса угла наклона аппроксимирующей кривую доходности прямой и F-теста. В нашем случае, для ТС «First» этот показатель будет равен:

0.0722 х 0.88 = 0.0635;

что означает математическое ожидание прибыли при торговле по правилам системы около 0.06% в день.

Профита всем!

Если статья вам понравилась, жмите сюда,

                                  А если нет, то сюда.

 









★18
33 комментария
Главное — получить прибыль, а каким способом — дело десятое! :)
avatar
Fedia, возможно, Вы правы. Но книги и статьи содержат огромное количество описаний разных «граалей», поэтому хочется иметь надежный способ отделять «мух от котлет» :)
avatar
Mackenna, например применить обыкновенную логику
avatar
Да нет грааля, есть инсайд. У нас биржа насквозь манипулятивная. Зайдите в шорт или лонг, ну, например, Арофлота на 200 лямов и сразу станет понятно в чем смысл. Получите противоход или что то в том роде.
Смотреть здесь - http://www.novik.ru/main.html
avatar

У нас биржа насквозь манипулятивная


Mihom, совершенно с Вами согласен — наблюдал в 2009 как на ФС ММВБ ВЭБ гонял котировки в пустых стаканах, как шарик от пинг-понга. В том числе и поэтому я ушел на форекс. Здесь тоже не все радужно, но манипулировать ценами значительно сложнее.

avatar
Mackenna,  ВЭБ с госбаблом был на рынке с октября по декабрь 2008-го. В январе 2009-го все его ждали, а он не пришёл и от неожиданности рынок провалили. Больше ВЭБ не появлялся, а тренд-2009 сделали нерезы. 
avatar
А. Г., охотно верю, дело давнее, я вполне мог напутать с датами.
avatar
А. Г., Кстати, вспомнил как покупал Сбербанк ровно по 14 рублей, вышла новость, что Сбербанк получил огромный спец. кредит (названия не помню) и акция пошла в рост, а за ней и весь рынок.
avatar
Красота! предпочитаю использовать в этом качестве тангенс угла наклона прямой, аппроксимирующей кривую доходности, скорректированный на коэффициент корреляции между прибылью и временем, затраченным на ее получение
avatar
Михаил, согласен — изложено не лучшим образом, но иначе я не сумел. Надеюсь, из контекста статей ясно, о чем речь, и читатели простят мне косноязычие :)
avatar
Mackenna, другими словами возможно это бы звучало как производная прибыли по времени)
avatar
Хмм. Очевидно, что эффективность ТС «First» выше. А не проще воспользоваться фактором восстановления? В выборке результатов тестирования он как раз показывает наиболее привлекательную кривую дохода.
avatar
Кирилл, не проще. В том все и дело, что фактор восстановления у ТС «Second» выше (второй показатель в таблице критериев эффективности), — при равной доходности относительная просадка больше у первой системы.
avatar
Mackenna, Ага, вижу, действительно. У второй системы просадки меньше по размеру и она из них выходит быстрее, быстрее восстанавливается
avatar
Не все так просто в этом мире. Возьмем для примера трендследящие системы. Они «любят» одни типы рынков и не любят другие. Одни годы дают очень хорошие результаты, другие так себе, хорошо если не минус. Следовательно, о линейной эквити или хотя бы о равномерной доходности говорить не  приходится. Нет в мире совершенства. 
avatar
Это всё пригодно разве что для сферической стратегии в вакууме. В реальности всё сложнее
avatar
Автор  похоже пытается сравнивать идеальные котртрендовые (First) и трендовые (Second) модели системы. Проблема в том, что это именно модели, лишь отдаленно напоминающие поведение реальных систем. 
Дмитрий Овчинников, я сравниваю не системы, а об'ективные критерии оценки их эффективности.
avatar
Mackenna, 
тогда вы пытаетесь найти объективные критерии оценки чего-то иного, но не торговых систем.
Сначала делается тест Дики-Фуллера — с большой долей вероятности эквити не является TS рядом, а поэтому применять к нему F-тест неправильно. 
avatar
Кстати,
судя по виду ваших эквити, у них никак не может быть одинаковым коэфициент Шарпа. У системы «Second» он должен быть существенно меньше!

Дмитрий Овчинников, они примерно равны, 0.384 против 0.375, я округлил до сотых.
avatar
Mackenna, 
покажете расчет?
Дмитрий Овчинников, нет, не сохранил к сожалению. Повторять не буду, ибо это не принципиально. Кэфом Шарпа можно оценивать только риск при равных доходностях ТС, как в моем примере. На практике такое почти не встречается.
avatar
Mackenna, 
и вот так везде у теоретиков: тут смотрите, тут не смотрите, а тут я рыбу заворачивал.
Вам указывают на ошибку, вы говорите — это не принципиально. Зачем тогда выкладываете все эти «расчеты»? 
Дмитрий Овчинников, если Вы не понимаете зачем — проходите мимо, статья не для Вас. И не переоценивайте свой глазомер. Вы, часом, тангенс угла наклона линии регрессии на глаз не определяете? :)
avatar
Mackenna, 
что-то сегодня каждый второй автор хамит в комментариях. Не указывайте, пожалуйста, что мне надо делать. Это, по меньшей мере, не прилично.
Направление верное, но не учитывается, что разная волатильность рынка не может не отражаться в разной волатильности эквити даже хорошей системы
avatar
из практики торговать второе не стал бы, так как то инет вылетит, то куда то надо отъехать(если лапками торгуешь) то вирт сервер сбойнет и по закону подлости именно на такой ударной сделке)
avatar
Только ТС Секонд. Колебания в пределах 1 %.
Фёсту повезло, что он встал на трэнд, но колебания в 6% на спокойном рынке приведут к колапсу. Фёст будет жить до первого чёрного лебедя.
avatar
BenBernanke, Колебания в 6%, которые не учитывает система «Первая» — ограничиваются стопами.
И не обязательно «по тренду» эта система.
Может быть контренд на младших таймфреймах.
Я такого бота писал, лет 10-ть назад, он  работал «контртренд» на младших, но если импульсное вливание — становился тупо по тренду и брал на откатах.
Сейчас — такое не работает, очень большая волатильность бывает…
avatar
Частное мнение.
Ни одна ТС не может учитывать всевозможные ситуации на Рынке.
Исходя из этого, давно пришел к Выводу, что нужно использовать десятки… сотни ТС в завивисмости от Ситуации, сентимента, фундамента, инсайда и пр.пр. и Главное, это Управление Капиталом.
Если у Вас 100 процентные данные о том или ином предстоящем движении — играем «на всю котлету».
Если Вероятность снижается — снижаем и риски.
В ТС «секонд» — используется вариант «на всю котлету», но Никто не запретит… использовать обе системы в течение Года.

avatar
Натягиваете желаемое на действительное.
По итогу вашим критериям будет удовлетворять только реверсная стратегия. 
avatar

теги блога Mackenna

....все тэги



UPDONW