Список проголосовавших за комментарий "<p>Не понимаю проблемы. IS нужна для выбора модели. Есть стандартные рекомендации, типа — не менее, чем число переменных в квадрате или что-то такое. Но в условиях сильной зашумленности все это дело растет.</p><p>Я бы сказал, что IS должна быть такой, чтобы на этой IS можно было вычленить хоть что-то из шума. «Секретные метрики» вам в помощь.</p><p> </p><p>OS не важен, можно хоть LOO. Но если данных достаточно, то можно всю оставшуюся часть пихать в OOS и делать кросс-валидацию (перемещать разделение на IS и OS по выборке).</p><p> </p><p>В итоге все зависит от числа переменных и уровня шума. Много шумов и переменных — LOO, мало переменных и мало шума — K fold и т.д..</p><p> </p><p>По-моему вы и так все это прекрасно знаете.</p>"