Список проголосовавших за комментарий "То что он на train показал вообще не важно. Деревья умеют подгонять что угодно. А нам не подгонка нужна а работающие закономерности. В sklearn есть GradientBoosting. Это тот же xgboost только попроще. Но по-любому будет лучше random forest. Ну и с вашими параметрами вряд ли он вообще чего-то рабочее найдет."