Не тинькофф
Не тинькофф личный блог
07 февраля 2020, 15:44

Тестирование стратегии на истории это "подгон" результатов или реальная необходимость?

Читая комментарии на предыдущие наши посты (ссылка здесь) относительно работы и функционала тестера jBot , мы получили несколько критических высказываний: 
  • «Толку ювелирно подогнать параметры тс под кривую графика на одном участке»
  • «Эффективный в прошлом период может дать отличный убыток в будущем...»
  • «Подгон на истории — это, конечно, хорошо»
Сегодня мы проведем работу по подбору торговых алгоритмов, на основе технического анализа на валютной паре USDRUB с января 2019 по июнь 2019 (6 мес) и посмотрим как лучшие отобранные стратегии вели себя с июля 2019 по декабрь 2019 (6 мес)

Шаг №1. Открываем jBot выбираем данные с января 2019 по июнь 2019 и запускаем перебор стратегий:
Тестирование стратегии на истории это "подгон" результатов или реальная необходимость?

Шаг №2. После того как результаты тестов сформированы открываем таблицу и анализируем их. Разброс по доходности от +24% годовых до — 18% годовых. Фильтруем по лучшей доходности и ТОП 5 результатов запускаем в торговлю. В ИТОГЕ лучшее результаты нам показали стратегии 10, 59,3,20,9.
Тестирование стратегии на истории это "подгон" результатов или реальная необходимость?
*Sys-номер торговой системы;T-таблица из которой брались данные для анализа; Ig-итоговая доходность (годовая в %);MaxDD-максимальная просадка в %;W-кол-во выигранных сделок;L-кол-во неудачных сделок.

Шаг №3. Тестируем отобранные стратегии (10,59,3,20,9) на новом периоде с июля 2019 по декабрь 2019 и сравниваем полученную доходность. Мы видим, что только 4-ре стратегии попали в ТОП 15 по доходности в новом временном отрезке. Стратегия №20 продемонстрировала только 4.9% годовых в новом временном отрезке. Но все 5 стратегий отработали новый период в плюс и соответственно можно сделать вывод, что проверка данных на истории не является подгонкой лучших параметров. 

Тестирование стратегии на истории это "подгон" результатов или реальная необходимость?
*Sys-номер торговой системы;T-таблица из которой брались данные для анализа; Ig-итоговая доходность (годовая в %);MaxDD-максимальная просадка в %;W-кол-во выигранных сделок;L-кол-во неудачных сделок.

Для более детального анализа файл с данными можете скачать по ссылке: https://yadi.sk/i/Xvyfkf9Kv6cUrw

Наши статьи на тему jBot: 

Как за 5 минут протестировать 31 индикатора и 2 таймфрейма  

Как рассчитать эффективный период МА
 

Парный трейдинг в 3 клика

USDRUB — тестируем 9 тысяч стратегий и выбираем лучшие для торговли


 

10 Комментариев
  • SergeyJu
    07 февраля 2020, 16:08
    Подгонка — она и есть подгонка. Вопрос в том, она приукрашивает хорошее, или надевает золотой фантик на кусок навоза. Бывает и так, и эдак.
  • matroskin
    07 февраля 2020, 16:10
    Вы наконец то провели более менее адекватные тесты  систем.Похвально, когда то надо учится)))
    Почему более менее адекватные? Да потому что брать надо различные периоды рынка! Как то допустим конец 2014 года, и пусть тот же 2019… В первом случае явный и сильный тренд, во втором в принципе больше боковик.Тестировать все в боковике… ну ладно, дело ваше))
    Ну и глянем на результаты))Только 4 попали в топ))Причем рынок был тот же(я про фазу).И уже разные результаты, что собственно я и говорил.А возьмете другую фазу.Резкий рост или падение, то вполне вероятно что вообще на минус нарветесь.
    Я вот тоже выводы сделал, вы либо вообще не соображаете, как проводят адекватные тесты, либо сознательно манипулируете результатами с какой целью мне не понятно, вроде сервис ПОКА бесплатный.
    Да и еще, коль вы цитируйте, то не вырывайте кусок из предложения.Смысл теряется.Предложение звучало так

    «Толку ювелирно подогнать параметры тс под кривую графика на одном участке, если на другом будет совершенно другая кривая и вся система пойдет к черту.»

    В первом полугодии  2019 и во втором полугодии 2019 прям таки серьезно отличался характер движения бакса?)))Трепыхание весь год в коридоре 62,5-67)))как дети, честное слово))))Подсказку же дал, прогоните за 2014 второе полугодие(если вам уж так нравится за 6 мес выводы делать).Вот там и глянем кто в какой топ войдет;)
    А вывод у вас просто шикарный))
    Проверка на истории не является подгонкой!!! Да ладно, а кто спорил то? Адекватная и правильная проверка конечно не является, более того без проверки на истории вообще торговать не стоит.А вот проверка, сделанная криворуко -это подгонка!
    Как сделать лучше и правильно, я вам написал, но видимо вам не интересно получить достоверные результаты.

    Понятия переоптимизация, «Curve Fitting» я же думаю вам знакомы? Зачем этим заниматься еще и выдавать за какие то великие достижения?))Как избежать негативного влияния переоптимизации, я думаю вы сами почитаете.

    На этом и разойдемся, нет желания спорить, как и читать посты с явными манипуляциями.

    PS извините, если был резок, просто задевает, когда такую«клюкву» народу втюхивают и так отрасль меготоксична(((
      • VK1
        07 февраля 2020, 18:01
        saturn-capital.com, какие результаты?
          • VK1
            07 февраля 2020, 18:26
            saturn-capital.com,  особо значит нет доходов от этой деятельности?
  • Pringles
    07 февраля 2020, 16:38
    на истории по-любому подгонка
    возьмем, например, банальное двойное дно
    на истории его прекрасно видно и тестер покажет, что любое двойное дно 100% разворотная фигура

    а если смотреть в реале, то цена, при втором подходе, может пробить, а может и отскочить
    в первом случае двойное дно не сформируется, а во втором отработает

    вопрос? как себя поведет робот при втором подходе цены к уровням первого дна?

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн