Список проголосовавших за комментарий "Если тесты сделаны как кросс-валидация (OOS), то более-менее, но даже с учетом этого, нужно понимать, что на кросс-валидации можно что угодно получить, особенно при старте от 300 фич. Это слишком много. Random Subspace по паре фичей, может быть… PCA по фичам… нужно уменьшить рандом на входе, чтобы не подгонять его под рандом на выходе. <br/> <br/> Градиентный Бустинг я бы тут вообще не применял, хотя у меня есть пара топиков именно для решения подобных задач. Но я то знаю, что это простая декомпозиция, а декомпозировать можно всё что угодно, в т.ч. случайный шум. Поэтому приходится извращаться перед применением и очень сильно."