Про 3 сигмы для валидации стратегий/роботов

Самые продвинутые проверяют и «оптимизируют» не на полной истории а на частичной, оставляя участок истории на которое уже натравливают «оптимизированную» старту и если там получается плюс — то, ура! Вот он, грааль

Этот вопрос часто триггерит алго-трейдеров, которые понимают суть этого вопроса. Вот и я, хотя меня эта тема уже почти не цепляет, стриггерился).

Конечно, умение отличать случайность от закономерности один из ключевых в алго. Да, большинство (как и везде) — какой-то стадной хернёй занимаются (в смысле делают все одно и то же и неправильное). Только на мой взгляд «научность» здесь не обязательное условие. Я бы заменил критерий на «здравость», а лежит ли подход в плоскости научности или нет, не принципиально. Я вот про сигмы туманно помню, что это, но это мне не мешает уметь определять, где случайность, где закономерность, а где недостаточно данных чтобы понять и нужо дальше копать.

Я для себя такую систему выделил:

— Кто-то занимается какой-то дичью, которая никак не помогает отличать закономерность от случайности. Таких трейдеров много.

— Кто-то нашел какие-то работающие механики, инструменты, фильтры для задачи различения случайности и закономерности. Они часто топорно работают, да, сквозь дуршлаг таких фильтров большая часть случайных раскладов утекает, но дырки большеваты и закономерности некоторые тоже просачиваются. Таких трейдеров мало.

— Кто-то нашел работающие механики, инструменты, фильтры, понял, почему они работают и задействует это «почему» в чистом виде (без «побочек»). Таких трейдеров очень мало.

Хм. Я думаю только реальная торговля может показать результативность стратегии. Нужно смотреть как на реале отрабатывает стратегия. Есть куча стратегий которые на истории хороши, а на реале не зарабатывают потому что неправильно учтена комиссия в расчетах, или гэпы и проскальзывания на реале гораздо больше и это тоже надо учесть и отфильтровать. 

В общем. Только по показанным результатам на истории совершенно невозможно узнать реальный потенциал. Кроме того рынок меняется, то что зарабатывало вчера перестает зарабатывать сегодня и т.д. 

Лично я смотрю результативность на реале, с учетом комиссии и т.д. Без всяких оптимизаций, на этом и принимаю решение о стратегии, но и на истории стратегия не должна сливать по полгода.

Если есть возможность тестирования стратегии на истории с полным перебором всех разумных параметров (не более 2-3), нужно выявить худшие случаи (с максимальными просадками) и оценить их вероятность (частоту) в обозримом будущем. «ТриСигмы», конечно, отражают какие-то «тени на стенах пещеры», но это не главное. Ну и от стратегии зависит важность статистик. Если играем «На всё» интрадей с небольшой суммой, или это среднесрочная стратегия с десятками инструментов с управлением капитала и другими тонкими подстройками.

Как-то так, на мой взгляд

Если результат не выходит за 3 сигмы, то это говорит о вполне такой большой вероятности — что просто случайно получен такой результат.