Список проголосовавших за комментарий "SergeyJu, ну есть несколько способов, в том числе встроенных в тот же sklearn:<br/> — boosting сам по себе довольно робастен — как правило несколько тысяч итераций еще не приводят к переобучению в классическом понимании<br/> — дополнительно при фиттинге деревьев можно указывать, чтобы он перебирал не все переменные на каждом шаге и использовал для обучения не все данные — магия, но помогает избежать переобучения<br/> — другие настройки вроде минимального кол-ва наблюдений в листе и минимального кол-ва наблюдений, которое можно разделить<br/> Все эти настройки можно отдельно калибровать, и итоговый результат обычно получается неплох.<br/> Речь, понятно, о задачах общего назначения — рыночные данные деревьями предсказываются не лучше, чем более простыми методами"