Блог им. Snaiper

Тестирование стратегии на истории это "подгон" результатов или реальная необходимость?

Читая комментарии на предыдущие наши посты (ссылка здесь) относительно работы и функционала тестера jBot , мы получили несколько критических высказываний: 
  • «Толку ювелирно подогнать параметры тс под кривую графика на одном участке»
  • «Эффективный в прошлом период может дать отличный убыток в будущем...»
  • «Подгон на истории — это, конечно, хорошо»
Сегодня мы проведем работу по подбору торговых алгоритмов, на основе технического анализа на валютной паре USDRUB с января 2019 по июнь 2019 (6 мес) и посмотрим как лучшие отобранные стратегии вели себя с июля 2019 по декабрь 2019 (6 мес)

Шаг №1. Открываем jBot выбираем данные с января 2019 по июнь 2019 и запускаем перебор стратегий:
Тестирование стратегии на истории это "подгон" результатов или реальная необходимость?

Шаг №2. После того как результаты тестов сформированы открываем таблицу и анализируем их. Разброс по доходности от +24% годовых до — 18% годовых. Фильтруем по лучшей доходности и ТОП 5 результатов запускаем в торговлю. В ИТОГЕ лучшее результаты нам показали стратегии 10, 59,3,20,9.
Тестирование стратегии на истории это "подгон" результатов или реальная необходимость?
*Sys-номер торговой системы;T-таблица из которой брались данные для анализа; Ig-итоговая доходность (годовая в %);MaxDD-максимальная просадка в %;W-кол-во выигранных сделок;L-кол-во неудачных сделок.

Шаг №3. Тестируем отобранные стратегии (10,59,3,20,9) на новом периоде с июля 2019 по декабрь 2019 и сравниваем полученную доходность. Мы видим, что только 4-ре стратегии попали в ТОП 15 по доходности в новом временном отрезке. Стратегия №20 продемонстрировала только 4.9% годовых в новом временном отрезке. Но все 5 стратегий отработали новый период в плюс и соответственно можно сделать вывод, что проверка данных на истории не является подгонкой лучших параметров. 

Тестирование стратегии на истории это "подгон" результатов или реальная необходимость?
*Sys-номер торговой системы;T-таблица из которой брались данные для анализа; Ig-итоговая доходность (годовая в %);MaxDD-максимальная просадка в %;W-кол-во выигранных сделок;L-кол-во неудачных сделок.

Для более детального анализа файл с данными можете скачать по ссылке: https://yadi.sk/i/Xvyfkf9Kv6cUrw

Наши статьи на тему jBot: 

Как за 5 минут протестировать 31 индикатора и 2 таймфрейма  

Как рассчитать эффективный период МА
 

Парный трейдинг в 3 клика

USDRUB — тестируем 9 тысяч стратегий и выбираем лучшие для торговли


 

★2
10 комментариев
Подгонка — она и есть подгонка. Вопрос в том, она приукрашивает хорошее, или надевает золотой фантик на кусок навоза. Бывает и так, и эдак.
avatar
Вы наконец то провели более менее адекватные тесты  систем.Похвально, когда то надо учится)))
Почему более менее адекватные? Да потому что брать надо различные периоды рынка! Как то допустим конец 2014 года, и пусть тот же 2019… В первом случае явный и сильный тренд, во втором в принципе больше боковик.Тестировать все в боковике… ну ладно, дело ваше))
Ну и глянем на результаты))Только 4 попали в топ))Причем рынок был тот же(я про фазу).И уже разные результаты, что собственно я и говорил.А возьмете другую фазу.Резкий рост или падение, то вполне вероятно что вообще на минус нарветесь.
Я вот тоже выводы сделал, вы либо вообще не соображаете, как проводят адекватные тесты, либо сознательно манипулируете результатами с какой целью мне не понятно, вроде сервис ПОКА бесплатный.
Да и еще, коль вы цитируйте, то не вырывайте кусок из предложения.Смысл теряется.Предложение звучало так

«Толку ювелирно подогнать параметры тс под кривую графика на одном участке, если на другом будет совершенно другая кривая и вся система пойдет к черту.»

В первом полугодии  2019 и во втором полугодии 2019 прям таки серьезно отличался характер движения бакса?)))Трепыхание весь год в коридоре 62,5-67)))как дети, честное слово))))Подсказку же дал, прогоните за 2014 второе полугодие(если вам уж так нравится за 6 мес выводы делать).Вот там и глянем кто в какой топ войдет;)
А вывод у вас просто шикарный))
Проверка на истории не является подгонкой!!! Да ладно, а кто спорил то? Адекватная и правильная проверка конечно не является, более того без проверки на истории вообще торговать не стоит.А вот проверка, сделанная криворуко -это подгонка!
Как сделать лучше и правильно, я вам написал, но видимо вам не интересно получить достоверные результаты.

Понятия переоптимизация, «Curve Fitting» я же думаю вам знакомы? Зачем этим заниматься еще и выдавать за какие то великие достижения?))Как избежать негативного влияния переоптимизации, я думаю вы сами почитаете.

На этом и разойдемся, нет желания спорить, как и читать посты с явными манипуляциями.

PS извините, если был резок, просто задевает, когда такую«клюкву» народу втюхивают и так отрасль меготоксична(((
avatar
matroskin, благодарю за развернутую обратную связь. Что касается теста белее дальних периодов, то основываясь на нашем опыте, это не эффективно. Рынок меняется алгоритмы меняются, по этой причине нет смысла прогонять 1-2 года истории. Мы работаем след. Образом, тестируем 3-6 месяца и запускаем в торговлю достойные алгоритмы. Далее смотрим их и сравниваем с ожидаемым поведением, если они не отвечают заявленным характеристикам мы меняем алгоритмы. Одновременно на одном счете от 10 до 30 разных алгоритмов торгуются. Так же постоянно в демо режиме ведется торговля еще по сотне стратегий и если из них что то начинает торговаться лучше ожиданий, переводим эту стратегию в боевой режим. 
avatar
saturn-capital.com, какие результаты?
avatar
VK1, результаты разные, как положительные так и отрицательные. В данном посте нет смысла освещать данную тему, тк речь здесь ведется о бектесте стратегий. Ну и самое главное в управление мы деньги не привлекаем и не советуем давать кому ли бо деньги, кто не имеет на это лицензию. 
avatar
saturn-capital.com,  особо значит нет доходов от этой деятельности?
avatar
VK1, я вам все написал. Раскрывать наши фин. результаты не вижу смысла, тк в чужих деньгах мы не нуждаемся.
avatar
на истории по-любому подгонка
возьмем, например, банальное двойное дно
на истории его прекрасно видно и тестер покажет, что любое двойное дно 100% разворотная фигура

а если смотреть в реале, то цена, при втором подходе, может пробить, а может и отскочить
в первом случае двойное дно не сформируется, а во втором отработает

вопрос? как себя поведет робот при втором подходе цены к уровням первого дна?
avatar
Pringles, наш тестер основан на индикатора ТА, а «двойное дно» Это фигура ТА, тестер по фигурам не торгует. 
avatar

теги блога Не тинькофф

....все тэги



UPDONW
Новый дизайн