Какие параметры для Вас главные при бэктесте стратегий?

18 февраля 2021, 21:10
|
genom

Всем привет! В очередной раз при тестировании системы ловлю себя на мысли, что не могу определится по каким метрикам (Recovery Factor, CAR/MDD, Profit Factor, Ulcer Index, Sharpe Ratio, Avg % Profit/Loss и т.д.) лучше отбирать параметры системы в тестеровщие. Каждая метрика отвечает за свои плюшки, но какая/какие самая важная? На что Вы в первую очередь смотрите после проведения тестирования? Есть разные подходы когда такая неоднозначность в выборе параметров систем, например, торговать частью депо с параметрами системы при наивысшем Profit Factor и одновременно ту же систему с параметрами при наивысшем CAR/MDD и т.д.

спецраздел:
трейдинг

Ключевые слова:
бэктестинг

275 | ★1

12 комментариев

Любую можно брать. Почти любую. И смотреть что и как на неё влияет, а не смотреть значения метрики в отдельных прогонах.

Replikant_mih

18 февраля 2021, 21:22
Ответить

Replikant_mih, примерно понятно, что влияет, но когда выборка из нескольких тысяч сделок, а параметров у системы, например, 5, то тут начинаются гонки то за одной метрикой системы, то за другой.

genom

18 февраля 2021, 21:25
Ответить

genom, Метрики прилично скоррелированы, если смотреть в разрезе отдельных прогонов, выпячиваться в верх могу разные метрики, это шумовая составляющая. Да даже если у некоторого прогона все метрики высокие — это не значит, что значения параметров надо с него брать).

Replikant_mih

18 февраля 2021, 21:28
Ответить

genom, если у вас не хватает ума понять, что единого универсального параметра нет (иначе все только им и пользовались бы, то вам не стоит этим заниматься.
Если не хватает ума понять, что у каждого свои цели при тестировании (классика, консервативно, агрессивно), то у вас нехватка ума двойная.
Если с таким вопросом еще и на публику,… тройная.
Геном бинома имени ЕГЭ…

VladMih

18 февраля 2021, 21:40
Ответить

Доходность и линейность.

Машковский Евгений

18 февраля 2021, 21:40
Ответить

Машковский Евгений, золотые слова, это идеал.

genom

18 февраля 2021, 21:53
Ответить

Машковский Евгений, доходность и индекс язвы (риск).
Интересно, а как Вы линейность оцениваете, неужели по невязке линейной аппроксимации логарифма эквити?

SergeyJu

19 февраля 2021, 10:24
Ответить

SergeyJu, использовал отклонение от линейной регрессии, разбивал на участки, сравнивал их отдельно, анализировал..., но в конце пришел к выводу, что главное это робастная идея, а линейность в итоге просто смотрю на глаз.

Рабочих идей не так много( у меня всего 2-е) и утопая в метриках, по сути занимаешься подгонкой, думаю, это бесполезная трата времени. Робастность и простота на первом месте!

Машковский Евгений

19 февраля 2021, 13:27
Ответить

Одним числом не обойтись, только их иерархией.
1) Прибыльность. 2) Просадка. 3) С п.2 связаны отчасти коэффициенты Шарпа-Сортино, но гораздо важнее, также связанная с ними, продолжительность безвыигрышных периодов.
У меня уйма великолепных по пп.1-2 стратегий на истории 10 лет фьючерса РТС, но сидеть без выигрыша по 6-9 месяцев — увольте!

Rostislav Kudryashov

18 февраля 2021, 21:41
Ответить

Rostislav Kudryashov, так и делаю, выдумал еще лет 10 назад подгон по пулу этих значений до максимального взвешенного результата параметров метрик, аналил сотни соотношений с привязкой к графику. Пока торгую от рыночного цикла, а точнее цикла в связке параметры системы — состояние рынка. Роботы сами выбирают параметры в зависимости от фазы.

genom

18 февраля 2021, 21:58
Ответить

основной параметр средняя сделка… если она низкая ты просто не сможешь торговать… пусть даже у тя будет просадка -100%, но имея хорошую среднюю просто загрузишь бота на 25% от депо и сможешь торговать...

затем смотришь чтоб просадка поменьше была...
потом исследуешь на стабильность
потом стресс тест — тест на 2008-09гг и на всех исторических данных