о тестировании систем для начинающих

Все, кому доволидось создавать систему (робота), сталкивались с проблемой тестирования.
Для того на проторах инета есть целая условно бесплатная куча вспомогательных программ, начиная от мастодонта-Метастока и заканчивая популярным нынче WLD
Ппри всем богатстве выбора, делают они (тестеры) примерно одно и то же — помогают наилучшим образом подобрать настроечные коэффициенты, которые в явном или неявном видет всегда присутствую в любом алгормтме (системе).
Хорошо подогнанные параметры позволяют приветсти нашу «теоретическую» эквити во вполне пристойный вид.
Следует ли рассчитывать, что полученный таким образом алгоритм начнет приносить абсолютно такую же прибыль, как на «причесанной» (in sample )тестовой кривой?
Искушенная часть публики достоверно знает, что нет, не следует. Алгоритм, если и будет работать вообще в реале, то как минимум вдвое-втрое хуже, нежели его (in sample) — родоначальник. При этом существует высокая вероятность, что работать в реале данный алгоритм не будет вовсе. Как проверить?
1. Запустить в торговлю одним контрактом на полгодика и за счет потери небольших денег убедиться в реальных цифрах заработка/просадки
2. Еще на этапе тестирования произвести тест под назнанием «Walk-Forward»
Ежели кому по прежнему интересно, то по своему опыту очень и очень рекомендую второй путь.
Большинство тестеров дают такую возможность — грех ей не воспользоваться в целях экономии своих будущих финансов
И последнее, на что мне хотелось бы обратить внимание читателей: «out-of-samole» кусок рынка НИКОГДА не может быть выбран слева от протестированного куска. НИКОГДА. Только и только справа. Это важно и концептуально. Почему — догадайтесь сами :)
3. Гарантируют ли хорошие результаты «out of sample» стабильную работу алгоритма в реале?
Нет!!! Тоже не гарантируют, просто поверьте моему опыту.
Не гарантируют. Но существенно повышают вероятность прибыльной работы алгоритма. Достоверно известно, что если вы произведете вышеописанную процедуру со всеми своими двумя-тремя сотнями роботов, то половина алгоритмв (иногда две трети) выбросится на помойку, зато оставшиеся статистически будут работать лучше и дольше
Как-то так, если совсем коротенько :)

тестирование

bocha

Обниск

281

3 177

с 12 июня 2013

20 Комментариев

Владимир Спицын
28 января 2014, 13:59
Когда Бог хочет поиздеваться над трейдером, он делает его ещё и программистом)))Имхо.
-1
- Евгений
  28 января 2014, 16:14
  Владимир Спицын, на вол стрит сидят бедняги, и не знают, что их мучает Бог. То ли дело светлоликие на смарт лабе. Все как один на ферарри :-)
  +1
  - Владимир Спицын
    28 января 2014, 16:18
    Евгений, разумеется там сидят бедняги, потому как они на работе, а у нас любимое хобби…и то, что Вас автоматически в поклоне сгибает перед ними — ваша беда, а не наша)))
    0
    - Евгений
      28 января 2014, 16:23
      Владимир Спицын, если человек как хобби занимается каким-то делом, то его нельзя именовать профессией. Вы не трейдер. Вы врач (к примеру, ваша профессия), который пробует заработать на бирже.
      0
      - Владимир Спицын
        28 января 2014, 16:28
        Евгений, разумеется — я ЛЮБИТЕЛЬ, а профессионал с профаном вабще слова однокоренные )))
        0
        Евгений
        28 января 2014, 17:28
        Владимир Спицын, я думал вы по делу. А в по троллить. Не, так не интересно. Слишком толсто :-)
        0
        Владимир Спицын
        28 января 2014, 17:37
        Евгений, ))) я ж не алго, которому всегда есть чё делать — вот дурью и маемся, пока там оно само торгует…
        0
- Студент
  06 февраля 2014, 14:38
  Владимир Спицын, под столом, самый большой прикол — что ЭТО ТАК
  0
2153sved
28 января 2014, 14:09
Запустить в торговлю одним контрактом на полгодика и за счет потери небольших денег убедиться в реальных цифрах заработка/просадки, а вот вопрос: не изменится ли стиль торговли так, что через пол-года пойдёт просадка?
0
bocha
28 января 2014, 14:31
В жизни может случиться все. Может измениться стиль торговли, цвет волос (их наличие), внешность, гендерные предпочтения…
Однако изначально подразумевался запуск в реал если не в виде робота, то как минимум четкое следование сигналам именно исследуемой системы.
В остальном — воля Ваша, меняйтесь на здоровье
0
bocha
28 января 2014, 14:41
Ответ для тезки-Владимира:
Богу. как мне кажется, нет дела до нашх знаний-умений, равно как и до стиля-резульатов нашей торговли. Кто он и кто мы? :)
Умение же программировать — одна из составляющих профессии трейдера. Это в среднем, бывают исключения, кто спорит. Вот только исключения бывают в обе стороны. Не удержусь, даже примерчики приведу
akademik.livejournal.com/
vovam.livejournal.com/31865.html
+1
- Владимир Спицын
  28 января 2014, 16:31
  bocha, просто ирония… и сочувствие одновременно — алгонадежды
  всего лишь новый виток человеческих надежд найти философский камень… на бирже(((
  0
Sergey F
28 января 2014, 16:13
«И последнее, на что мне хотелось бы обратить внимание читателей: «out-of-samole» кусок рынка НИКОГДА не может быть выбран слева от протестированного куска. НИКОГДА. Только и только справа. Это важно и концептуально. Почему — догадайтесь сами»
Объясните плиз дураку. Почему так?
0
- bocha
  28 января 2014, 17:39
  Тунеядец,
  Коли Вы задумались — уже не «дурак»
  Ну а почему именно… конда-нибудь я напишу на эту тему отдельный пост. Длинный (пугаю) без математики (совращаю)
  Ну в общем, обыкновенный отдельный длинный пост. Тема того заслуживает, ибо даже «гуру» алготрейдинга делают на этом поприще ошибки
  0
bocha
28 января 2014, 16:59
ru.wikipedia.org/wiki/%D0%9F%D0%BE%D1%80%D0%BE%D0%B6%D0%B4%D0%B0%D1%8E%D1%89%D0%B5%D0%B5_%D0%BC%D0%BD%D0%BE%D0%B6%D0%B5%D1%81%D1%82%D0%B2%D0%BE_%D0%B3%D1%80%D1%83%D0%BF%D0%BF%D1%8B
ну можно, можно, чего уж говорить
именно для некоторых систем так и приходится делать
Но вы серьезно считаете, что сие сохраняет статус №для начинающих№?
0
- bocha
  28 января 2014, 17:43
  bocha,
  Что не так? Ссылка было на нусском языке, статья на русском
  Начинающий трейдер — это основа для продолжающих.
  Читать вышеупомянутую ссылку необязательно, поначалу она только вредит. Но знать, что придется и такое читать… почему бы не знать сие с самого начала трейдинга…
  0
  - Владимир Спицын
    28 января 2014, 17:51
    bocha, подписались почитать и ЖЖ в закладки — интересно повникать в сами идейки… кроме темы тупых «железных парней»
    0
bocha
28 января 2014, 17:46
Парни и девушки!
Мы вступили в войну с не менее умным ребятами
Война не на убийство, войнушечка простенькая, только за деньги.
Читийте, читайте и читайте, что вам коллеги подкидывают
Без этого Вас не убъют, нечего бояться. Но деньги потеряете
И начнете все заново…
Дык, отчего бы не прочитать сегодня :)
+1
Андрей Коган
06 февраля 2014, 23:04
Почему out-of-sample не может быть слева? Если, скажем, интрадей, чем сентябрь хуже октября, который in sample?
0
MadMan
07 февраля 2014, 11:40
"… И последнее, на что мне хотелось бы обратить внимание читателей: «out-of-samole» кусок рынка НИКОГДА не может быть выбран слева от протестированного куска. НИКОГДА. Только и только справа. Это важно и концептуально. Почему — догадайтесь сами :)..."
ДАННОЕ УТВЕРЖДЕНИЕ ОШИБОЧНО!!!
— тестирование проводится только ради того чтобы не залететь в переоптимизацию. Проверить переоптимизированы ли параметры системы ( не насадили ли Вы её на пик Джомолунгмы) можно на любом участке вне участка настройки. Поэтому:
— оптимизация на последних данных более эффективна, т.к. дает менее запаздывающие параметы системы. Допустим невозможное,- пусть нам известны «идеальные» параметры системы и они меняются гладко. Реально мы вычисляем эти параметры с запаздыванием (это очевидно, т.к. на участке настройки они лучшие). Вы предлагаете брать эти параметры с еще большим запаздыванием.
— оптимизация параметров системы — это один из способов настройки. Не самый лучший. Мне кажется правильным проводить поиск робастных параметров. В некоторых классах систем (рекомендуемых начинающим :-)) система становится робастной не только по параметрам, но и по отношению к цене.
0