Бустинг надо регулиризовать и стрэпить. В RF это делается само сабой.
А то, что бустинг есть продолжение форестинга… это что-то странное...
Принципиально бустинг — обычная декомпозиция, как фурье или ARIMA, а форест это нифига не декомпозиция, это… да по сути это простая модель много раз построенная на рекомбинированных данных, чтобы не было оверфитинга. То есть бустинг — много моделек, нелинейно усиливающих друг друга, а форестинг — одна. Хотя в лесу, якобы, деревьев много — но все они что-то одинаковые...