Список проголосовавших за комментарий "Илья Т., <br/> <br/> <blockquote>Я тренируюсь на одном временном интервале, валидируюсь на случайной выборке из него же, а тестируюсь на следующем годе.</blockquote><br/> Какой в этом смысл? <a href="/r.php?u=https%3A%2F%2Fwiki.loginom.ru%2Fimages%2Fcross-validation.svg&s=2530400917">Валидация</a> это и есть тест на новых данных, не входящих в обучающее множество.<br/> <br/> <blockquote>Я пробовал sequential feature selection и это стоило мне нескольких дней жизни без компьютера, а результат меня не впечатлил.</blockquote><br/> Зато он приближает результат к реально воспроизводимому. У вас слишком мало решений и слишком много изначальных фич. Здесь обучить что-либо вообще нереально. <br/> <br/> <blockquote>Почему? А что применяли бы?</blockquote><br/> Потому что бустинг это оверфитинг (или курвфитинг) в чистом виде, где-то рядом с нейросетями. Да, вы можете ограничивать лист элементарного дерева, размазывая границы классов, но на выходе вы все равно получите случайно удачный результат. Почему? Потому что на большом наборе случайных чисел всегда можно получить удачный результат прошедший все тесты.<br/> <br/> <blockquote>Я попробовал найти, но не смог. Не могли бы дать ссылки?</blockquote><br/> <a href="https://smart-lab.ru/blog/532764.php">smart-lab.ru/blog/532764.php</a><br/> <a href="https://smart-lab.ru/blog/536499.php">smart-lab.ru/blog/536499.php</a><br/> <a href="https://smart-lab.ru/blog/557358.php">smart-lab.ru/blog/557358.php</a><br/> <a href="https://smart-lab.ru/blog/558494.php">smart-lab.ru/blog/558494.php</a>"