Тест устойчивости торговых систем

В процессе тестирования на живом рынке многие торговые системы начали давать противоречивые результаты и стало понятно, что просто иметь систему и четко соблюдать ее недостаточно для успеха на бирже. Нужно переходить на новый уровень и сделать следующее:

1. Подключить торговый журнал для автоматического учета сделок.

2. Для тестирования гипотез создать отдельную таблицу, где будет учет прибыльных или убыточных сделок по каждой конкретной гипотезе. Нужно точно в цифрах видеть, что может работать, а от чего лучше сразу отказаться.

3. Улучшить методику бэктестов и отсеять явно нежизнеспособные системы. Сосредоточиться только на тех, где есть хоть какие-то признаки устойчивости и за которые мне могут дать денег.

Первое жизненно необходимо любому системному трейдеру и я решил вопрос через подключение своего аккаунта в Т-Инвестициях к сервису TradersDiaries. Это очень простой процесс — генерируете API-токен в режиме read-only, вставляете его в нужное поле в TradersDiaries и сразу видите всю историю своих сделок, топ-трейды, топ-дни и другую полезную информацию.

Второй пункт реализовал в Google Spreadsheets, чтобы таблицы были доступны в любом месте и в любое время.

На третьем пункте нужно остановиться отдельно. В моем случае мне нужно было понять, где я точно могу торговать тренды, а где нет — очень важно знать, не стоите ли вы против рынка. Я взял несколько трендовых систем, на которых у меня было больше всего прибыльных сделок и решил проверить их на устойчивость.

Зачем нужно повторно тестировать торговые системы?

В бэктестинге есть известная проблема, которая называется «curve fitting», когда вы подгоняете свою систему под набор исторических данных и создается иллюзия того, что система работает. У опытных алготрейдеров есть сложные методики для решения этой проблемы (например, Монте-Карло симуляция), но розничному трейдеру в TradingView все это недоступно и нужны другие средства, которые логически верны и позволят отсеять неустойчивые системы.

Раньше я использовал forward testing, перебор параметров и тестирование связанных активов (NG против базового актива Henry Hub Gas Futures или SBER против SBERP, устойчивая система должна работать на обоих при одних и тех же параметрах), но это все равно недостаточно надежно. Я начал обращать больше внимания на два важных параметра: drawdown (общая просадка портфеля) и win rate. По наблюдениям если у системы много трейдов и win rate ниже 50%, то это сильный сигнал о том, что она может быть нерабочей. Если система не предназначена для позиционного трейдинга, то при drawdown выше 20% она считается нерабочей.

Также оказалось очень важным присутствие на графике участков, где система перестает работать. На этих участках меняется фаза рынка и тогда нужно тестировать рабочие участки отдельно. Как это выглядит:



На этом графике доходности нужно обратить внимание на участок после 100-го трейда и понять, какой там был рынок.

Как еще можно улучшить методику тестирования?

Есть простой и относительно доступный способ — я подключил самый дорогой тариф в TradingView, который позволяет тестировать 20 000 баров и в котором есть функция Deep Backtesting. Когда мне стало доступно больше баров, я сразу понял, что половина систем имеют проблемы на длинной дистанции. Deep Backtesting позволил убрать лишние и в итоге осталось только несколько систем, которым я готов доверить деньги.

SNGSP выглядел неплохо до Deep Backtesting:



Но на самом деле, торговать такую систему нельзя:



В SBER была гипотеза о том, что на дневном таймфрейме EMA50 это хороший индикатор направления рынка:



Deep Backtesting добавил очков этой гипотезе:



Связанный биржевой инструмент SBERP не сломался, тоже плюс к гипотезе:



Для уточнения точек входа можно использовать младший таймфрейм H1, так он выглядит без Deep Backtesting:



А так с включенным Deep Backtesting:



Проверяем на связанном инструменте SPERP, к сигналам есть определенное доверие:



В остальных случаях примерно 8/10 систем отваливались и я теперь точно знаю, что на них не надо тратить время. У истории со Сбером тоже есть нюансы вроде низкого win rate на таймфрейме H1, но я хотя бы снизил вероятность того, что потеряю деньги на рынке.

Настоящие алготрейдеры делают по-другому!

Действительно, если вы хотите на 100% автоматизировать свою систему, чтобы ее за вас торговала машина, то нужен более серьезный научный подход к решению задачи, но я не претендую на то, чтобы называть себя алготрейдером и ищу способы торговать системно, опираясь на конкретный торговый метод и статистику.

Еще один важный момент: вам нужно как можно быстрее понять, что бесконечный перебор и простое тестирование торговых алгоритмов не поможет двигаться вперед. Точно так же, как перебор индикаторов, поиск Граалей, готовых решений и т.д. Если понимаете, что застряли и ходите по кругу, то меняйте метод на более профессиональный и наименее комфортный для вас. Также трейдинг без журнала это очень плохая идея — вы не видите свои худшие и лучше трейды, не видите где сильнее рискуете, какой инструмент хуже торгуется.