Блог им. genom

Какие параметры для Вас главные при бэктесте стратегий?

    • 18 февраля 2021, 21:10
    • |
    • genom
  • Еще
Всем привет! В очередной раз при тестировании системы ловлю себя на мысли, что не могу определится по каким метрикам (Recovery Factor, CAR/MDD, Profit Factor, Ulcer Index, Sharpe Ratio, Avg % Profit/Loss и т.д.) лучше отбирать параметры системы  в тестеровщие. Каждая метрика отвечает за свои плюшки, но какая/какие самая важная? На что Вы в первую очередь смотрите после проведения тестирования? Есть разные подходы когда такая неоднозначность в выборе параметров систем, например, торговать частью депо с параметрами системы при наивысшем Profit Factor и одновременно ту же систему с параметрами при наивысшем CAR/MDD и т.д.
★1
12 комментариев
Любую можно брать. Почти любую. И смотреть что и как на неё влияет, а не смотреть значения метрики в отдельных прогонах.
avatar
Replikant_mih, примерно понятно, что влияет, но когда выборка из нескольких тысяч сделок, а параметров у системы, например, 5, то тут начинаются гонки то за одной метрикой системы, то за другой.
avatar
genom, Метрики прилично скоррелированы, если смотреть в разрезе отдельных прогонов, выпячиваться в верх могу разные метрики, это шумовая составляющая. Да даже если у некоторого прогона все метрики высокие — это не значит, что значения параметров надо с него брать).
avatar
genom, если у вас не хватает ума понять, что единого универсального параметра нет (иначе все только им и пользовались бы, то вам не стоит этим заниматься.
Если не хватает ума понять, что у каждого свои цели при тестировании (классика, консервативно, агрессивно), то у вас нехватка ума двойная.
Если с таким вопросом еще и на публику,… тройная.
Геном бинома имени ЕГЭ…
avatar
Доходность и линейность.
Машковский Евгений, золотые слова, это идеал.
avatar
Машковский Евгений, доходность и индекс язвы (риск). 
Интересно, а как Вы линейность оцениваете, неужели по невязке линейной аппроксимации логарифма эквити? 
avatar

SergeyJu, использовал отклонение от линейной регрессии, разбивал на участки, сравнивал их отдельно, анализировал..., но в конце пришел к выводу, что главное это робастная идея, а линейность в итоге просто смотрю на глаз.

     Рабочих идей не так много( у меня всего 2-е) и утопая в метриках,  по сути занимаешься подгонкой, думаю, это бесполезная трата времени. Робастность и простота на первом месте! 

Одним  числом не обойтись, только их иерархией.
1) Прибыльность. 2) Просадка. 3) С п.2 связаны отчасти коэффициенты Шарпа-Сортино, но гораздо важнее, также связанная с ними, продолжительность безвыигрышных периодов.
У меня уйма великолепных по пп.1-2 стратегий на истории 10 лет фьючерса РТС, но сидеть без выигрыша по 6-9 месяцев — увольте!
avatar
Rostislav Kudryashov, так и делаю, выдумал еще лет 10 назад подгон по пулу этих значений до максимального взвешенного результата параметров метрик, аналил сотни соотношений с привязкой к графику. Пока торгую от рыночного цикла, а точнее цикла в связке параметры системы — состояние рынка. Роботы сами выбирают параметры в зависимости от фазы.
avatar
основной параметр средняя сделка… если она низкая ты просто не сможешь торговать… пусть даже у тя будет просадка -100%, но имея хорошую среднюю просто загрузишь бота на 25% от депо и сможешь торговать...   

затем смотришь чтоб просадка поменьше была...
потом исследуешь на стабильность 
потом стресс тест — тест на 2008-09гг и на всех исторических данных
avatar
Полностью согласен!
avatar

теги блога genom

....все тэги



UPDONW
Новый дизайн