Все, кому доволидось создавать систему (робота), сталкивались с проблемой тестирования.
Для того на проторах инета есть целая условно бесплатная куча вспомогательных программ, начиная от мастодонта-Метастока и заканчивая популярным нынче WLD
Ппри всем богатстве выбора, делают они (тестеры) примерно одно и то же — помогают наилучшим образом подобрать настроечные коэффициенты, которые в явном или неявном видет всегда присутствую в любом алгормтме (системе). 
Хорошо подогнанные параметры позволяют приветсти нашу «теоретическую» эквити во вполне пристойный вид.
Следует ли рассчитывать, что полученный таким образом алгоритм начнет приносить абсолютно такую же прибыль, как на «причесанной» (in sample )тестовой кривой?
Искушенная часть публики достоверно знает, что нет, не следует. Алгоритм, если и будет работать вообще в реале, то как минимум вдвое-втрое хуже, нежели его (in sample) — родоначальник. При этом существует высокая вероятность, что работать в реале данный алгоритм не будет вовсе.  Как проверить?

( Читать дальше )