Список проголосовавших за комментарий "<blockquote>Если результат вырос в 2 раза (примерно) — возможно, наша ТС эксплуатирует некую стабильную закономерностьЕсли в 1.5 раза (примерно, точнее в sqrt(2)) — скорее всего, это тупо результат подгонки<a name="cut"></a>Если вырорс еще меньше — в мусор и побыстрее</blockquote><br/> Вообще это неверно. Если мы тестируем на ОС ровно один раз — то результат на ОС — это и есть реалистичная оценка перформанса системы, R = (результат на ОС) / (результат на бэктесте) — некая оценка стабильности системы, 1 — R — «доля оверфита», скажем так.<br/> Если тестируете на ОС больше одного раза — то там уже более сложная математика пошла, зависящая от того, что конкретно делаете."