Список проголосовавших за комментарий "Kot_Begemot,<blockquote>Это уже «напилинг» -</blockquote>Можете называть это как хотите — kernel trick стандартная штука, которую проходят в большинстве курсов по ML, включена в большинство библиотек. На самом деле без этого SVM вообще мало интересен, так как принципиально не отличается от других линейных методов. <br/> <blockquote>Обычно перед применением нейронных сетей данные предобрабатывают. Это ядерные свёртки изображений, обработка по градиентам яркости и пр., пр. пр. в голом виде нейронные сети не применяют… обычно.</blockquote><p>У вас очень странная интерпретация нейронных сетей — сверхточный слой, это не предобработка, а один из стандартных слоев сетей. Параметры сверток обучаются как и все остальные слои с помощью back propagation. Свертки бывают и в начале, и в конце, и в середине. Часто это практически основной содержательный слой в сети (можно глянуть RezNet или WaveNet — там сплошные свертки от начала и до конца — это что не сети что ли, а только предобработка?). Одна из моделей, которую я использовал, состояла из 7 сверхточных слоев и одного глобального пулинга. Так как в пулинге совсем нет обучаемых параметров, то по сути вся сеть из сверток. Для таких архитектур даже термин есть fully convolutional network. </p><blockquote><p>Разница между GBM и NN в процессе обучения и, соответственно, в размере области градиентного пересмотра параметров.</p></blockquote><br/> Я бы сказал, что там все разное.<br/> <br/> NN — это дифференцируемая функция, производные которой много где отличны от нуля. При обучении <strong>дифференцируется Loss по параметрам сети</strong>. На каждой итерации <strong>обновляются существующие параметры</strong> с учетом производной Loss по ним.<br/> <br/> Ансамбль деревьев — это функция с кучей разрывов, а там где разрывов нет, там производная равна нулю (кусочно постоянная функция). <strong>Loss диференцируется не по параметрам построенных деревьев</strong>, а по значениям функции. Полученные производные (с минусом) приближают новым деревом, дерево добавляется в ансамбль, а <strong>ранее сформированные деревья и их параметры не меняются</strong>. <br/> <br/> PS: Мне кажется, мы уже удалились куда-то не в конструктивное русло, из-за различий в терминологической базе."