Список проголосовавших за комментарий "SergeyJu, так это та же самая подгонка, но под другим соусом. Если мы позволяем себе, получив плохой аутофсэмпл, переделать эксперимент до тех пор, пока аутофсэмпл не станет удовлетворительным, это всё оверфит. Неважно же, чем мы при этом варьируем, перебираем фичи, целевые функции, предобработку данных и тд. На мой взгляд, аутофсэмпл должен в нашей задаче фиксироваться на данном участке времени один раз. Что получили — то и получили. Иначе наши условия обучения и контроля будут настолько далеки от реальных торговых, что смысла никакого. "