о тестировании систем для начинающих

Все, кому доволидось создавать систему (робота), сталкивались с проблемой тестирования.
Для того на проторах инета есть целая условно бесплатная куча вспомогательных программ, начиная от мастодонта-Метастока и заканчивая популярным нынче WLD
Ппри всем богатстве выбора, делают они (тестеры) примерно одно и то же — помогают наилучшим образом подобрать настроечные коэффициенты, которые в явном или неявном видет всегда присутствую в любом алгормтме (системе). 
Хорошо подогнанные параметры позволяют приветсти нашу «теоретическую» эквити во вполне пристойный вид.
Следует ли рассчитывать, что полученный таким образом алгоритм начнет приносить абсолютно такую же прибыль, как на «причесанной» (in sample )тестовой кривой?
Искушенная часть публики достоверно знает, что нет, не следует. Алгоритм, если и будет работать вообще в реале, то как минимум вдвое-втрое хуже, нежели его (in sample) — родоначальник. При этом существует высокая вероятность, что работать в реале данный алгоритм не будет вовсе.  Как проверить?
1. Запустить в торговлю одним контрактом на полгодика и за счет потери небольших денег убедиться в реальных цифрах заработка/просадки
2. Еще на этапе тестирования произвести тест под назнанием «Walk-Forward»
Ежели кому по прежнему интересно, то по своему опыту очень и очень рекомендую второй путь.
Большинство тестеров дают такую возможность — грех ей не воспользоваться в целях экономии своих будущих финансов
И последнее, на что мне хотелось бы обратить внимание читателей:  «out-of-samole» кусок рынка НИКОГДА не может быть выбран слева от протестированного куска. НИКОГДА. Только и только справа. Это важно и концептуально. Почему — догадайтесь сами :)
3. Гарантируют ли хорошие результаты «out of sample» стабильную работу алгоритма в реале?
Нет!!! Тоже не гарантируют, просто поверьте моему опыту.
Не гарантируют. Но существенно повышают вероятность прибыльной работы алгоритма. Достоверно  известно, что если вы произведете вышеописанную процедуру со всеми своими двумя-тремя сотнями роботов, то половина алгоритмв (иногда две трети) выбросится на помойку, зато оставшиеся статистически будут работать лучше и дольше
Как-то так, если совсем коротенько :)