Правильное тестирование систем..?

Добрый день всем! В связи с началом автоматизации своего трейдинга решил провести опрос и том кто и как тестирует свои системы, сразу скажу, что я в начале этого пути, строю тестирую в ТС Лабе. Прочитал некоторую литературу, посмотрел некоторые видео, но к конкретного ответа так и не нашел. Дак как же все таки правильно тестировать свой алгоритм.
Имеется ввиду на какой истории грамотно и правильно тестировать тот или иной алгоритм, в зависимости от тайм фрейма на котором работает алгоритм или же на разных участаках выборочно, где вы считаете рынок был в разных фазах и т.д.
От одних источников я слышал, что тестировать и соответственно оптимизировать алгоритм нужно в зависимости от тайм фрейма, то есть минутки нужно тестировать на сравнительно небольшом тайм фрейме не более месяца, 5-минутки от 1 до3 месяцев или последний фьюч, часовики от полугода до года и уже на этих периодах проводить оптимизацию, так как считается что чем меньше тайм фрейм тем более рынок изменчив и данные прошлых лет учитывать не нужно.

От других источников слышал, что неважно какой алгоритм и тайм фрейм тестирование и оптимизацию необходимо проводить на длителном промежутке времени несколько лет как минимум, так как бытует мнение, чем лучше и стабильнее на длительном промежутке времени работает система, тем лучше. Читаю книгу, посоветанную мне Роберта Прадо, пока не дочитал, но как то все там размыто сильно написано.
Короче я запутался и прошу опытных алгосистемщиков рассказать в кратце, с чего начинать, может кто ссылку даст на сайт или видео, где без мыла и воды пишут или говорят как правильно подойти к этому вопросу.
У меня есть несколько алгоритмов не сложных на разных таймах, прошу написать свои идею кто и как тестирует свои системы.
Тестируя на данных последнего фьюча одни результаты, тестируя на данных за несколько лет — другие, отличаются не сильно, но допустим на длительном периоде с одними параметрами и переменными система работоспособна и дает положительный результат, но последний месяц, два она держится 0 или легком плюсе, на что больше, то есть на какой период больше обращать внимание? на более ближний или же в целом на несколько лет.
Если не сложно, в общем и «своим языком» на каком периоде рассмотриваете работоспособность системы и тестируете на исторических данных и соответственно уже проводите оптимизацию?
1 мин
5 мин
15 мин
и часовик
Заранее спасибо за ответы)

тестирование систем

Дмитрий. А

Великий Новгород

454

с 9 марта 2014

12 Комментариев

SECRET
26 сентября 2014, 20:33
Все равно на каком промежутке тестируете. Главное чтобы количество сделок было больше 1000 и больше количества всевозможных особей при достаточном варьировании оптимизируемых параметров. А так-же желательно чтобы более 50% особей были жизнеспособны. Целевой функцией можно взять профит-фактор.
+5
- Дмитрий. А
  26 сентября 2014, 20:45
  SECRET, спасибо за ответ, про кол-во сделок знаю, стараюсь чтобы было более 1000. есть пару вопросов:
  1. «больше количества всевозможных особей при достаточном варьировании оптимизируемых параметров» — не совсем понял что имелось ввиду.
  2. А если система трендовая, там показатель в % достигает от 31-32 до 40% в среднем почти у всех тендовых систем, просто доход на сделку в много раз выше чем убыток, такая система может быть работоспособной?
  3.И про промежуток, а как же тогда быть и на каких параметрах остановиться, если при тестировании за последний месяц или два одни параметры при наилучших результатах, а при тестировании за год два или три другие, какие результаты для запуска в реальную торговлю будут актуальными на данный момент? таймы не большие 1 мин, 5 мин и 15 мин.
  0
  - Дар Ветер
    26 сентября 2014, 21:48
    Дмитрий Андреев, как раз такие системы и есть наиболее живучи и работоспособны, а не те что полагаются на 70% винрейт
    -1
  - мистер Сельдерей
    26 сентября 2014, 22:01
    Дмитрий Андреев, торговать минутки за 40% годовых? или это в месяц?
    0
    - Дмитрий. А
      26 сентября 2014, 22:13
      Холодное сердце, нет, разговор был про средний показатель в % прибыльных сделок за тестируемый период времени а не доход
      +1
      - мистер Сельдерей
        26 сентября 2014, 22:15
        Дмитрий Андреев, ааа, понятно
        0
- ves2010
  27 сентября 2014, 07:46
  1 более 50% жизнеспособных конечно гуд… однако в индикаторах такое не сделать та же ма имеет параметр от 1 до бесконечности… всегда будет интервал стабильности…
  2 кароче… на бесконечных параметрах ищем интервал стабильности… смотрим его диапазон… надо хотяб 20-30Дб от края до края
  3 имхо форвардная оптимизация бред
  4 комиссии, прокальзывания = 0
  5 1000 сделок маловато… надо 10000… хотяб 3000… можно взять разные инструменты и получить 1000 сделок
  6 интервал от 2010г… по целому ряду причин
  7 на 2008-09 делаешь стресс тест
  9 тестишь на постоянной сумме… это важно
  и еще 34 правила
  +2
  - Дмитрий. А
    27 сентября 2014, 12:07
    ves2010, спасибо вес за ответ, не понял 4 пункт про комиссию и проскальзывания 0, это к чему?
    то есть вы хотите сказать что даже на системах на 1-мин и 5 мин тайм фрейме необходимо проводить тестирование на данных несколько лет? хорошо, а есть ли смысл проводить тестирование на малых таймах за последний месяц, два или три?
    +1
    - ves2010
      27 сентября 2014, 19:30
      Дмитрий Андреев,
      1 а как ты поймешь что у тебя более 50% жизнеспособны? если у тебя комиссы и проскальзывания… + там еще другие фишки
      2 таймфрейм не важен… т.к торгуется не сочетание индикаторов а конкретная неэффективность рынка а она от таймфрейма не зависит… т.е. неэффективность рынка должна быть на интервале хотяб года 4ре
      3 средняя сделка от 0.1% и выше
      4 максимум 2 параметра оптимизации… надо понимать что выбор бумаги и таймфрейм это уже 2 доп параметра
      +1
      - Дмитрий. А
        28 сентября 2014, 01:07
        ves2010, спасибо за ответ, ну в принципе понятно, но есть один вопрос, понятно что чем меньше параметров, тем лучше, но если в начальной стадии я использую в основном индикаторы, там 2 параметрами не пахнет, один траил или стопы с профитом насчитывают в обе стороны от 4 до 6 плюс параметры индюка а если он не один), поэтому я и ищу ответа за какой период времени лучше оптимизировать данные стратегии, ведь за несколько лет одни данные пригодны, а за несколько месяцев отличаються вот и думаешь на какие стоит ориентироваться?
        0
SECRET
26 сентября 2014, 22:08
1. Допустим есть 2 параметра оптимизиации, первый может принимать 3 различных значения, а второй 5 различных. Следовательно число всевозможных особей = 3 * 5 = 15.
2. может
3. запустите каждые несколько особей и время покажет
+3