Блог им. tradezen

По каким параметрам оценивать торговую стратегию?

У Ларри Вильямса увидел его стандартный набор для оценки торговой стратегии. Вот один из примеров:

По каким параметрам оценивать торговую стратегию?

Посмотрим, что тут у него есть.

— Data (Что торгуем)
— Calc dates (Даты)
— Total net profit (Прибыль)
— Gross profit (Доход)
— Gross loss (Расход)
— Total # of trades (Количество сделок)
— Percent profitable (Процент прибыльных сделок)
— Number winning trades (Количество прибыльный сделок)
— Number losing trades (Количество убыточных сделок)
— Largest winning trade (Максимальный доход в сделке)
— Larges losing trade (Максимальная потеря в сделке)
— Average winning trade (Средняя прибыльная сделка)
— Average losing trade (Средняя убыточная сделка)
— Ratio avg win/avg loss (Отношение средняя прибыльная сделка/средняя убыточная сделка)
— Avg trade (win & loss) (Средняя сделка)
— Max consecutive winners (Максимально прибыльных сделок подряд)
— Max consecutive losers (Максимально убыточных сделок подряд)
— Avg # bars in winners (В среднем баров в прибыльной сделке)
— Avg # bars in losers (В среднем баров в убыточной сделке)
— Max closed-out drawdown (Максимальная просадка)
— Max intraday drawdown (Максимальная дневная просадка)
— Profit factor (Профит фактор)
— Max # of contracts held (Максимальное количество бумаг в сделке)
— Account size required (Какой нужен депозит)
— Return on account (Прибыль в %)

Мне кажется тут всё более или менее понятно.

А какие вы используете параметры для оценки своей торговой стратегии?

------------

Кому удобнее получать анонсы в телеграме t.me/zenoftrading
★1
16 комментариев
Я оцениваю стратегию по простым параметрам: шелестит или не шелестит, «хрустящий пресс» в кармане.
avatar
На мой взгляд, от всех этих показателей какой-то малопонятной магией веет, так как изобрели их на коленке люди далекие от математики. Есть нормальные статистические тесты для проверки гипотез — только их и использую для оценки стратегий.
avatar
Михаил, так рассказывайте!
avatar
zenoftrading, берете книжку по математической статистике — там все рассказано. Я обычно рекомендую курс Яндекса и Физтеха - Построение выводов по данным.

Для изолированной стратегии оцениваю статистическую значимость отличия прибыли от нуля и строю доверительный интервал для ожидаемой доходности. Для нескольких стратегий оцениваю статистическую значимость преимущества одной над другой. Не забываю делать коррекцию на множественную проверку гипотез.
avatar
Михаил, Тут смотря что оценивать. Есть какие-то стат. метрики, есть «бизнес» метрики. Робастность, вероятно, действительно лучше стат. инструментами оценивать, но стат. метрика тебе не скажет, будет ли тебе комфортно такое торговать, а какое-нибудь отношение годовой доходности к просадке — вполне и т.д. Ну т.е. они скорее про разное и да, возможно, трейдерские метрики используют часто не совсем по назначению.
avatar
Replikant_mih, между t-тестом (или его аналогами) есть достаточно прямая взаимосвязь с такой классической бизнес-метрикой, как коэффициент Шарпа, но честно сказать мне гораздо удобней t-статистикой оперировать напрямую.

Риск вы плечом легко регулируете, поэтому это больше не характеристика качества стратегии, а вопрос операционной имплементации этой стратегии. 

Оценка просадки по истории — мне кажется это вообще ересь с точки зрения статистики, поэтому оперировать этим понятием не стоит и очень опасно. Если вы хотите, что-то содержательное узнать об экстремальных убытках, то задействуйте тесты теории экстремальных значений.
avatar
Михаил, плюс трейдерских метрик — интерпретируемость, обычно. Такие метрики в любом случае подходят неплохо чтобы описать факт. Для оценки и прогнозирования будущего в простом виде — не подходят, в простом в смысле в виде: PF был 1.5 — будет 1.5. Но в более сложных схемах — вполне жизнеспособные метрики, в таких конструкциях они собственно все становятся синонимичными и прилично скоррелированными. Что за сложные схемы, которые упоминаю — смотрю результаты под разными углами — ну там чуть параметры пошевелить — как влияет, инструмент другой, другой участок графика и т.д.
avatar
Replikant_mih, для меня они как раз совершенно не интерпретируемые — о чем мне должно сказать точечное значение PF=1.5. Ни чем — это может быть как предельно достоверная оценка с доверительным интервалом 1.4-1.6, так и абсолютно случайное число с доверительным интервалом -100 — +100.

На мой взгляд, самая понятная и интерпретируемая метрика — доверительный интервал для прибыли или доходности, нормированных по риску. Эта метрика понятна для математика, и ее можно легко донести не профессионалу. Она открыто показывает неточность наших суждений, а не скрывает ее за кучей точечных оценок малопонятных коэффициентов.

Легко объяснить во что это выльется в зависимости от того, сколько риска кто-то готов взять.

После начала имплементации опять же можно достаточно легко судить идет ли развитие ситуации в рамках наших ожиданий, или что-то пошло сильно не так и пора задуматься о повторном анализе.
avatar

Михаил, 

>> «о чем мне должна сказать точечное значение PF=1.5» — о том что средний положительный трейд в 1.5 раза больше среднего отрицательного.

 

Я в статистике пока не особо шарю, как-нибудь обязательно подтяну, но минусы стандартного трейдерского подхода четко понимаю, выкручиваюсь мною изобретенными приемами. Думаю, я делаю примерно все то же самое что и все эти статистические тесты, только совсем по-другому).

avatar
Replikant_mih, 
>> о том что средний положительный трейд в 1.5 раза больше среднего отрицательного.

Только важно понимать, что это только оценка среднего значения, а не реальное среднее значение. Для вычисления возможной погрешности оценки среднего значения есть специальный статистический тест, который показывает стоит ли вообще обращать внимание на эту цифру или она завтра с легкость может превратиться -3 раза. 

Делать что-то кроме статистических тестов тоже бывает полезно, но статтесты позволяют формализовать львиную долю анализа и действуют очень отрезвляюще, когда начинаешь мыслить в парадигме не точечных значений, а очень недостоверных оценок с большим разбросом. 
avatar
Михаил, Ну да, это не противоречит тому, что я писал).
avatar
Replikant_mih, хороший пример был недавно, но чего-то не смог найти — может пост удалили. Человек искал трейдера с Шарпом 1.5 и историей за 3 года — казалось бы приличный результат. Пришел уважаемый Eugene Logunov и дал комментарий о доверительном интервале такой оценки при стандартных допущениях, который в переводе на бизнесовый язык сводится к тому, что фактический Шарп такого трейдера может быть в грубо пять раз меньше, то есть около 0.3.
avatar
лучше не придумаешь, отлично все параметры отслеживает, но тяжело все это сделать, не встречал кто бы так делал, все отслеживал, только в академиях используют, профессора
Eugene Logunov, согласен. Пока гулял по лесу, как раз про ваш коммент недавний вспомнил. 
avatar
Зависит от того с какой целью вы хотите оценть торгову систему...
Для разных целей — разные метрики.
avatar

теги блога zenoftrading

....все тэги



UPDONW