Какие параметры для Вас главные при бэктесте стратегий?

Всем привет! В очередной раз при тестировании системы ловлю себя на мысли, что не могу определится по каким метрикам (Recovery Factor, CAR/MDD, Profit Factor, Ulcer Index, Sharpe Ratio, Avg % Profit/Loss и т.д.) лучше отбирать параметры системы в тестеровщие. Каждая метрика отвечает за свои плюшки, но какая/какие самая важная? На что Вы в первую очередь смотрите после проведения тестирования? Есть разные подходы когда такая неоднозначность в выборе параметров систем, например, торговать частью депо с параметрами системы при наивысшем Profit Factor и одновременно ту же систему с параметрами при наивысшем CAR/MDD и т.д.

бэктестинг

genom

Северодвинск

с 19 января 2011

12 Комментариев

Replikant_mih
18 февраля 2021, 21:22
Любую можно брать. Почти любую. И смотреть что и как на неё влияет, а не смотреть значения метрики в отдельных прогонах.
+1
- genom
  18 февраля 2021, 21:25
  Replikant_mih, примерно понятно, что влияет, но когда выборка из нескольких тысяч сделок, а параметров у системы, например, 5, то тут начинаются гонки то за одной метрикой системы, то за другой.
  0
  - Replikant_mih
    18 февраля 2021, 21:28
    genom, Метрики прилично скоррелированы, если смотреть в разрезе отдельных прогонов, выпячиваться в верх могу разные метрики, это шумовая составляющая. Да даже если у некоторого прогона все метрики высокие — это не значит, что значения параметров надо с него брать).
    +1
  - VladMih
    18 февраля 2021, 21:40
    genom, если у вас не хватает ума понять, что единого универсального параметра нет (иначе все только им и пользовались бы, то вам не стоит этим заниматься.
    Если не хватает ума понять, что у каждого свои цели при тестировании (классика, консервативно, агрессивно), то у вас нехватка ума двойная.
    Если с таким вопросом еще и на публику,… тройная.
    Геном бинома имени ЕГЭ…
    0
Машковский Евгений
18 февраля 2021, 21:40
Доходность и линейность.
0
- genom
  18 февраля 2021, 21:53
  Машковский Евгений, золотые слова, это идеал.
  0
- SergeyJu
  19 февраля 2021, 10:24
  Машковский Евгений, доходность и индекс язвы (риск).
  Интересно, а как Вы линейность оцениваете, неужели по невязке линейной аппроксимации логарифма эквити?
  0
  - Машковский Евгений
    19 февраля 2021, 13:27
    SergeyJu, использовал отклонение от линейной регрессии, разбивал на участки, сравнивал их отдельно, анализировал..., но в конце пришел к выводу, что главное это робастная идея, а линейность в итоге просто смотрю на глаз.
    Рабочих идей не так много( у меня всего 2-е) и утопая в метриках, по сути занимаешься подгонкой, думаю, это бесполезная трата времени. Робастность и простота на первом месте!
    0
Rostislav Kudryashov
18 февраля 2021, 21:41
Одним числом не обойтись, только их иерархией.
1) Прибыльность. 2) Просадка. 3) С п.2 связаны отчасти коэффициенты Шарпа-Сортино, но гораздо важнее, также связанная с ними, продолжительность безвыигрышных периодов.
У меня уйма великолепных по пп.1-2 стратегий на истории 10 лет фьючерса РТС, но сидеть без выигрыша по 6-9 месяцев — увольте!
+2
- genom
  18 февраля 2021, 21:58
  Rostislav Kudryashov, так и делаю, выдумал еще лет 10 назад подгон по пулу этих значений до максимального взвешенного результата параметров метрик, аналил сотни соотношений с привязкой к графику. Пока торгую от рыночного цикла, а точнее цикла в связке параметры системы — состояние рынка. Роботы сами выбирают параметры в зависимости от фазы.
  0
ves2010
18 февраля 2021, 22:17
основной параметр средняя сделка… если она низкая ты просто не сможешь торговать… пусть даже у тя будет просадка -100%, но имея хорошую среднюю просто загрузишь бота на 25% от депо и сможешь торговать...

затем смотришь чтоб просадка поменьше была...
потом исследуешь на стабильность
потом стресс тест — тест на 2008-09гг и на всех исторических данных
0
- genom
  18 февраля 2021, 22:35
  Полностью согласен!
  0