Список проголосовавших за комментарий "То есть по сути это последовательность неглубоких деревьев, каждое следующее из которых пытается исправить ошибку предыдущих. Стандартные реализации используют много ухищрений для ускорения и повышения качества — предразбиения признаков на 256 бинов, оптимизации второго порядка при построение отдельных деревьев, регуляризация листьев, минэнкодинг, параллельный запуск и GPU, поэтому большого смысла делать это самому нет. Есть три библиотеки, каждая со своими нюансами — XGBoost первая и достаточно надежная, LightGBM использует построение деревьев не ярусами, а от отдельных листьев, работает очень быстро, но иногда требует настройки (на ней любят обкатывать идеи из-за скорости), Catboost — самая молодая, использует небрежные деревья, что позволяет быстро применять натренированную модель, дольше учится, но обычно даёт лучший результат без настроек. Тенденция последнего времени, что в соревновательных целях ее используют все больше. "