Тестирование торговых систем бессмысленно ?

Давно хотел прокомментировать пост Артема Крамина (http://smart-lab.ru/profile/kramin/) по-поводу бесполезности тестирования стратегий на исторических данных.
 
smart-lab.ru/blog/117052.php
 
Сейчас еще раз зашел, перечел, в том числе все комментарии. Очень много слов, и все — не по делу. Это я про комментарии. А выводы статьи Крамина представляются просто ошибочными. Итак, вот несколько ключевых утверждений и моих комментариев к ним:
«Все ваше тестирование на исторических данных абсолютно бесполезно! Любые результаты полученных на основе прогона системы не значат ничего, они являются всего лишь следствием случайности»

 
Этим вы отрицаете ВСЯКУЮ возможность предсказывать поведение цены на основе принципов ТА. На самом деле ТА работает, но понимать его выводы следует исключительно как вероятностные.
 
«Дисперсия приводит ваши результаты из вида: «На основе исторических данных, при реальном использовании система дает за год 10.000 пп. прибыли», в вид: «На основе исторических данных, при реальном использовании система дает за год 10.000 пп. плюс/минус 15.000 пп. прибыли».

 
Вполне возможно, и это нормально для любой системы, основанной на статистике. И еще, правильнее было бы сформулировать это таким образом:
На основе исторических данных, при реальном использовании система дает за год В СРЕДНЕМ 10.000 пп. плюс/минус 15.000 пп. прибыли. То есть она может дать и 100000.
Следует также отметить, что даже для системы с матожиданием 10000 и дисперсией 15000 абсолютное большинство значений положительно, и, следовательно, на большом ряде реализаций даст положительный результат.
 
«Вы тестируете систему на исторических данных. Получаете результат +10.000 пп. прибыли. Но в реальности это означает, что запустив ее в следующем году, вы можете получить, как 25.000 пп. прибыли, так и 5.000 пп. Убытков!»
 
Вполне вероятно, это нормально.
 
«А теперь представьте себе, что вы тестировали систему. Получили результат в 5.000 пп. убытка, и отправили ее в корзину. Но это на самом деле, могла быть та же самая система, которая давала на других данных 10.000 пп. Прибыли!»
 
Если он дала убыток на большом массиве исторических данных, а не на одной серии, то ее стоит отправить в корзину.
 
А теперь кратко суть. Чудес не бывает. Если
1) ваша стратегия действительно содержит «мини-грааль», то есть нечто, ухватывающее скрытые закономерности поведения цены
2) тестирование на ОЧЕНЬ большом ряде исторических данных дает положительный результат
То: с большой ВЕРОЯТНОСТЬЮ эта стратегия даст положительный результат и на реальном счете.
 
И все. И больше ничего. Причем особенно важно иметь ввиду, что последнее утверждение носит вероятностный характер. Ничего не гарантировано, вы можете получить и убыток. И даже не один раз.
 
Еще раз, все что можно утверждать, это то, что стратегия, показавшая положительный результат на ОЧЕНЬ большой серии исторических данных, с большой ВЕРОЯТНОСТЬЮ покажет положительный результат на БОЛЬШОЙ серии реальных испытаний.
 
То есть, возможен (хоть и маловероятен) и такой вариант, что сначала на достаточно значительном отрезке времени стратегия будет показывать отрицательный результат, но впоследствии все-таки выведет результат в плюс.