Статистическая проверка гипотез

Занимаясь трейдингом, мы в явном или в неявном виде выдвигаем некоторые гипотезы.
К примеру, прочитав в популярном учебнике про направление выхода из «флага», мы можем поверить автору на слово (рискованное для счета мероприятие), а можем подвергнуть гипотезу собственному статистическому анализу.
На исторических данных, других у нас нет. 
Отвлекаясь от точности определения фигур рыночной формации, остановлюсь на вопросе «сколько делать измерений, чтобы душа и ум поверили?»
Для этого приведу простой пример из школьного курса математики.

Торгуем гипотезу:  Все нечетные числа простые

Как нормальный человек проверяет данное предположение на исторических данных?
1, 3, 5, 7  - блестящее подтверждение гипотезы
9  - ошибка эксперимента
11, 13   — вновь блестящее подтверждение
15 — еще одна досадная ошибка
17, 19  - все в норме

Итак, мы провели 10 измерений, в терминах трейдинга 80%  - выигрыш, 20% — проигрыш

При таких шансах можно играть, говорим мы себе!!! И действительно поначалу частенько выигрываем!

Со временем результаты ухудшаются… постепенно сходясь к 50% угадайке.
Досадно, говорим мы себе. Неэффективность замылилась, слишком многие ее подметили и воспользовались данной стратегией.
Хорошо, если просто снимаем стратегию с торгов. 
Но если мы люди искушенные, мы обвешиваем ее фильтрами… и так далее до бесконечности.

Мораль проста. Если бы мы при проверке базовой стратегии провели не 10, а 100-300 измерений, соблазна запускать в торги
«тухлую» стратегию не возникало бы.

Что в полной мере согласуется с классическими методиками статистической обработки экспериментальных данных. :)