Список проголосовавших за комментарий "Бустинг надо регулиризовать и стрэпить. В RF это делается само сабой.<br/> <br/> А то, что бустинг есть продолжение форестинга… это что-то странное...<br/> <br/> Принципиально бустинг — обычная декомпозиция, как фурье или ARIMA, а форест это нифига не декомпозиция, это… да по сути это простая модель много раз построенная на рекомбинированных данных, чтобы не было оверфитинга. То есть бустинг — много моделек, нелинейно усиливающих друг друга, а форестинг — одна. Хотя в лесу, якобы, деревьев много — но все они что-то одинаковые... <br/> <br/> "