SMART-LAB
Новый дизайн
Мы делаем деньги на бирже
Информация
Блог им. tester37
Про 3 сигмы для валидации стратегий/роботов
- 06 ноября 2022, 16:32
- |
Подскажите. Вот есть бэктестирование. И наблюдаю картину, что уже многие ведутся (и верят в оптимизацию параметров с той целью, что на истории страта начинает показывать плюс). Самые продвинутые проверяют и «оптимизируют» не на полной истории а на частичной, оставляя участок истории на которое уже натравливают «оптимизированную» старту и если там получается плюс — то, ура! Вот он, грааль.
Но ведь это неправда. Если результат не выходит за 3 сигмы, то это говорит о вполне такой большой вероятности — что просто случайно получен такой результат. Кроме того, этот расчет также требует вполне определенного количества испытаний, а иногда предлагаются граальные индикаторы, которые проверены якобы на десятилетней истории, но срабатывали они за этот период например 20 раз и 16 из них в плюс… и на этом предлагается делать также вывод о граальности.
Есть ли серьезные люди, которые октрыто занимаются такой, правильной верификацией методик и роботов на их основе? Или у меня какие то примитивные представления, которые неприменимы к реальному алготрейдингу?
Но ведь это неправда. Если результат не выходит за 3 сигмы, то это говорит о вполне такой большой вероятности — что просто случайно получен такой результат. Кроме того, этот расчет также требует вполне определенного количества испытаний, а иногда предлагаются граальные индикаторы, которые проверены якобы на десятилетней истории, но срабатывали они за этот период например 20 раз и 16 из них в плюс… и на этом предлагается делать также вывод о граальности.
Есть ли серьезные люди, которые октрыто занимаются такой, правильной верификацией методик и роботов на их основе? Или у меня какие то примитивные представления, которые неприменимы к реальному алготрейдингу?
иначе ты корову не продашь
это для начал
потом при измении любого параметра от -50 до +100% доха не должна падать больше чем в 2 раза
это типа критерий устойчивоси бота
Хорошая система дает прибыль на всем множестве параметров.
А по поводу вероятности: Система 2ма зарабатывала каждый год в течении 10 лет с параметрами 200 и 60. Какова вероятность что с этими же параметрами она заработает в следующем году ?
Ответ: 50%, либо заработает либо нет.
«Есть ли серьезные люди, которые октрыто занимаются такой, правильной верификацией методик и роботов на их основе?»
А бывает так, что профит лежит за этой стеной и тут важно качество интерпретировать результаты.
Этот вопрос часто триггерит алго-трейдеров, которые понимают суть этого вопроса. Вот и я, хотя меня эта тема уже почти не цепляет, стриггерился).
Конечно, умение отличать случайность от закономерности один из ключевых в алго. Да, большинство (как и везде) — какой-то стадной хернёй занимаются (в смысле делают все одно и то же и неправильное). Только на мой взгляд «научность» здесь не обязательное условие. Я бы заменил критерий на «здравость», а лежит ли подход в плоскости научности или нет, не принципиально. Я вот про сигмы туманно помню, что это, но это мне не мешает уметь определять, где случайность, где закономерность, а где недостаточно данных чтобы понять и нужо дальше копать.
Я для себя такую систему выделил:
— Кто-то занимается какой-то дичью, которая никак не помогает отличать закономерность от случайности. Таких трейдеров много.
— Кто-то нашел какие-то работающие механики, инструменты, фильтры для задачи различения случайности и закономерности. Они часто топорно работают, да, сквозь дуршлаг таких фильтров большая часть случайных раскладов утекает, но дырки большеваты и закономерности некоторые тоже просачиваются. Таких трейдеров мало.
— Кто-то нашел работающие механики, инструменты, фильтры, понял, почему они работают и задействует это «почему» в чистом виде (без «побочек»). Таких трейдеров очень мало.
Хм. Я думаю только реальная торговля может показать результативность стратегии. Нужно смотреть как на реале отрабатывает стратегия. Есть куча стратегий которые на истории хороши, а на реале не зарабатывают потому что неправильно учтена комиссия в расчетах, или гэпы и проскальзывания на реале гораздо больше и это тоже надо учесть и отфильтровать.
В общем. Только по показанным результатам на истории совершенно невозможно узнать реальный потенциал. Кроме того рынок меняется, то что зарабатывало вчера перестает зарабатывать сегодня и т.д.
Лично я смотрю результативность на реале, с учетом комиссии и т.д. Без всяких оптимизаций, на этом и принимаю решение о стратегии, но и на истории стратегия не должна сливать по полгода.
smart-lab.ru/blog/719599.php
Очень дельное замечание! Тоже встречаю в обсуждениях тему, что роботы не могут работать всегда. что их надо постоянно «мэйнтейнить» и менять. И они заточены под какой то конкретный инструмент или даже площадку.
Если подходить к теме научно/профессиоанльно то ведь перечень предусловий и постусловий качественной работы — может быть вполне четким. Если его нет, то опять возвращаемся к искусству ради искусства (и, возможно, продаж )
Как мне кажется, подбор параметров нужен руками, по крайней мере я так делал, руками, глазами. Там подкрутил одно, там другое.
Допустим система дает 100% удачных сделок, если забирать 50 пунктов, но она может легко давать 50%, если выставить 100.
Распределения очень далеки от нормальных и с толстыми хвостами, поэтому тут какой-нибудь бутстрап нужен для разумной оценки доверительных интервалов.
Большинство делает огромное количество экспериментов, поэтому нужна корректировка на множественное тестирование.
В результате 3 сигмы явно недостаточно.
Если есть возможность тестирования стратегии на истории с полным перебором всех разумных параметров (не более 2-3), нужно выявить худшие случаи (с максимальными просадками) и оценить их вероятность (частоту) в обозримом будущем. «ТриСигмы», конечно, отражают какие-то «тени на стенах пещеры», но это не главное. Ну и от стратегии зависит важность статистик. Если играем «На всё» интрадей с небольшой суммой, или это среднесрочная стратегия с десятками инструментов с управлением капитала и другими тонкими подстройками.
Как-то так, на мой взгляд
Согласен, модели и расчеты должны быть в любых подходах.
Но я хотел привлечь внимание к важности расчетов худших экстремальных вариантов.
А они случаются...
Мы похлопаем вас по плечу и вернемся к своим поделкам :)
Результат чего?
3 сигмы от чего?
Что из чего не должно выйти?