Список проголосовавших за комментарий "Kot_Begemot, <br/> <blockquote>Не понимаю проблемы.</blockquote><br/> Ну я бы не сказал, что это проблема). Скорее описал процесс рождения небльшого инсайта и сам инсайт.<br/> <br/> <blockquote><p>Но в условиях сильной зашумленности все это дело растет.</p><p>Я бы сказал, что IS должна быть такой, чтобы на этой IS можно было вычленить хоть что-то из шума. «Секретные метрики» вам в помощь.</p></blockquote><br/> Ну типа того). Я, правда, на IS результаты давно не смотрю), поэтому мне более критично какова OOS выборка.<br/> <br/> <br/> LOO — загуглил, жесть какая)), у меня выборка относительно маленькая — скорее да, из-за зашумления, на рынках обычно закономерности не прям лежат на тарелочке с каёмочкой). Т.е. мне не хватит ресурсов для такого облъема вычислений). А так да, K-Fold (оказывается так этот алгоритм называется) хорошая тема и эффективно закрывает этот вопрос, просто сначала обычно простое разделение делаешь, а потом поверх уже лень навешивать что-то).<br/> <br/> <blockquote>В итоге все зависит от числа переменных и уровня шума. Много шумов и переменных — LOO, мало переменных и мало шума — K fold и т.д..</blockquote><br/> Это прям значимая разница будет между тими алгоритмами (ну если K например, до 10), или разница будет определяться чисто размером средней обучающей выборки, т.в. в первом случае это N-1, во втором N-N/k. Если так, то обычно это не стоит того, обычно если данных нехватает, то это в разы или на порядки, а 10-20% не сделают погоды. А вот вычислений порядком прибавится."