Список проголосовавших за комментарий "Kot_Begemot, <blockquote>Какой в этом смысл?</blockquote>В моем случае — понять как ведет себя модель на периоде, который она не видела. Как раз для того чтобы убедиться что мой «случайно удачный» результат не до конца случаен. В общем случае смысл разбивки на трэйн, валидэйшн, тест описан вот <a href="/r.php?u=https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FTraining%2C_validation%2C_and_test_sets&s=4239718803">здесь</a>, то на что вы ссылаетесь описано в разделе «Confusion in terminology»<br/> Попробую чуть подробнее пояснить. <br/> Мне надо натренировать градиентбуст: в процессе тренировки я выполню 100 000 итераций и каждая следующая даст лучший результат на трэйн множестве, чем предыдущая. Как понять — на каком шаге модель выучивает общие законерности природы, а на каком переобучается под частные особенности конкретного датасета? Проверять на каждом шаге предсказния модели на данных, которые не входили в трэйн множество (validation dataset).Если предсказания модели на валидации улучшаются до 1000 шага, а потом ухудшаются то я могу предположить что с 1001 шага модель занимается оверфитингом и остановиться на 1000м шаге. <br/> Я получил какую-то модель. Как мне понять, что в будущем я смогу её эффективно использовать? Показать ей третий датасет, сформированный из данных, полученных в более позднее время (test dataset)<br/> <blockquote>на выходе вы все равно получите случайно удачный результат. Почему? Потому что на большом наборе случайных чисел всегда можно получить удачный результат</blockquote>Ну вообще так весь ML работает. ))) Какие предложения? Отказаться от него совсем?<br/> <br/> upd: немного дополню. В ML есть две фундаментальные проблемы: <span style="text-decoration:line-through;">дураки дороги</span> high bias и high variance. Причем с первой мы можем бороться по-большому счету только одним способом: больше данных богу данных. С другой стороны для борьбы переобучением применяется целый арсенал способов: описаный выше ранний останов обучения, регуляризация десятками разных способов, фича селекшн, undersampling итд… <br/> <blockquote><a href="/blog/532764.php">smart-lab.ru/blog/532764.php</a>...</blockquote>Очень интересно. Спасибо. Читаю."