Список проголосовавших за комментарий "ab_trader, на каждый оверфитинг должна быть отложенная выборка. На каждый вывод, сделанный по отложенной выборке, должно быть подтверждение по еще одной отложенной выборке.<br/> <br/> Иначе получается так: я нашел на отложенной выборке хорошие варианты работы модели и эти же модели идут в работу, предполагая, что полученного знания на отложенной выборке достаточно. А в реальности я подогнал модели под отложенную выборку."