Бэктестирование и статистика в алготрейдинге. Robot-Scalper

Рассмотрим сегодня подводные камни при тестировании стратегий. То, что алготрейдер обязательно должен знать и понимать! 


Люди часто спрашивают, а какая доходность такой-то стратегии? Или, сколько процентов в месяц делает робот?И постоянно приходится объяснять людям, что трейдинг это не депозит в банке. Здесь нет фиксированных доходностей. Рынок меняется и результаты торгов тоже в следующем месяце обязательно будут отличаться от предыдущих прибылей и убытков, это может произойти как в лучшую так и в худшую сторону. Это нужно понимать.

Но сейчас речь пойдет немного о другом. Давайте постараемся понять насколько бэктесты могут быть достоверными и насколько правильно полагаться на статистику полученную на этих тестах.

Безусловно, если бэктест показывает стабильный убыток по стратегии, то этому можно доверять и стратегия отправляется в мусорное ведро. Но если есть сотни или даже тысячи сделок и кривая доходности растет, то такая стратегия уже вызывает интерес!  А теперь начинается настоящая работа аналитика. Потому что мало увидеть статистику, но нужно ещё и понять как им образом она получилась. Правильно бы были посчитаны сделки?
И, как оказывается на практике, не всегда всё настолько точно, как нам того бы хотелось.Приведем пример. Смотрите скриншот выше.

Запуская бэктест в торговом терминале TSLab (шикарное ПО для разработки и анализа стратегий, без шуток) можно заметить что при обновлении данных (котировок) сделки начинают прорисовываться справа налево. То есть, по мере получения всё более дальних (старых) данных система ищет сигнал для входа в позицию исходя из условий стратегии и открывает позицию, если такой сигнал находится. Некоторые сделки действительно будут соответствовать реалиям, но не все!
При тестировании стратегии в реальном времени (очень долго и сложно) сделки открываются по очереди слева направо. И до тех пор пока открытая позиция не будет закрыта новая сделка не произойдет! То есть, сигнал на открытие позиции теоретически может быть, но фактически позиция не была бы открыта, так как мы итак уже в позиции. Поэтому сделки на бэктестах и в реале могут сильно отличаться.

Другой момент: запуская робота в разное время мы можем получить точку входа на разных уровнях, если сигнал на вход был продолжительный. И если у нас тейк-профит и стоп-лосс фиксированные, то и закрытие позиции теперь будет тоже отличаться. А соответственно, это тоже повлияет на открытие следующей позиции и на итоговую статистику.

Ещё есть важная вещь, это низкая ликвидность и свечи с нулевыми или малыми объемами на исторических данных. Бывает так, что люди тестируют стратегию на низколиквидных активах. Исторические данные выглядят вроде бы неплохо. Но, если копнуть глубже, то можно найти много свечей, внимание(!), с нулевым объемом! И на них тестировщик может показывать сделки. Эта дикость была обнаружена ещё 10 лет назад. И до сих пор проблема остается актуальной. Решается она двумя способами:
​​​​​​​1. Мы не торгуем неликвид.
2. В стратегиях, мы прописываем в условиях на открытие позиции обязательное наличие минимально необходимого объема на свече.

Помимо этих технических моментов есть ещё и другие не менее важные вещи влияющие на статистику бэктестов. Например, это начальный депозит. Его размер очень важен, так как доходность считается исходя из того какой задан начальный депозит или не задан, тогда берется за основу стоимость одного лота/контракта/штуки актива. И нельзя забывать по накладные расходы. Комиссии тоже должны корректно учитываться в стратегии, потому что без учета комиссий стратегия может показывать положительную доходность, а с комиссиями отрицательную. Всё нужно учитывать. Только тогда ваша система будет жизнеспособной и прибыльной на дистанции!

В одной публикации всего не уместишь, но если вы занимаетесь алготрейдингом и у вас есть свои торговые стратегии, то возможно вам пригодятся мысли изложенные выше. И теперь вы сможете проверить свои стратегии на качество и достоверность по результатам.

В итоге хочется отметить важный момент: как бы точно и кропотливо мы не выстраивали свои стратегии, всё равно в реальной торговли сделки будут отличаться от тестовых! Одно то, что на сервере брокера могут происходить задержки в исполнении заявок уже дает погрешность. Поэтому всегда необходимо закладываться на погрешность в исполнении заявок и на дисперсию в статистических результатах.

По любым вопросам обращайтесь. Поможем, подскажем!

С уважением, 
Команда проекта «Робот Скальпер»
https://Robot-Scalper.ru