Список проголосовавших за комментарий "<p>Kot_Begemot, основное отличие, что в случае картинок, звука и т.д. у нас обычно очень много <strong>одинаковых</strong> элементов (картинка, 500 на 500 это 250000, элементов, секунда звука, 44000), в табличных данных элементы <strong>разные</strong> (пол, возраст, вес, последнее место работы, образование и т.д.) и их обычно гораздо меньше (десятки или сотни). Никаких теоретических причин, почему сети хорошо работают на данных первого типа, и обычно проигрывают на вторых, я не знаю, но практика показывает, что это так. </p><p> </p><p>Нет строгого определения глубоких сетей — в академическом контексте, обычно сети, в которых слоев больше, чем нужно по теореме, а в практическом — достаточно много, чтобы возникала проблема затухания или взрыва градиентов. </p><p> </p><p>Основная проблема тренировки, что производные параметров слоев близких к входу представляют собой произведение производных промежуточных слоев. Если эти производные отличный от 1 по модулю, то произведение имеет тенденцию или расти сильно по модулю, или стремится к нулю по модулю. Соответственно в первом случае при обновлении параметры скачут в беспорядочном порядке, а во втором слишком слабо меняются и сеть не учится. Обычно раньше наблюдалось именно вторая ситуация, так как широко использовались сигмойдные функции активации, а у них производная за исключением узкого диапазона близка к нулю. </p><p> </p><p>Было предложено много приемов решения этих проблем:</p><p> </p><p><a href="/r.php?u=https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FRectifier_%28neural_networks%29&s=997713533">ReLu</a> активация вместо сигмойдной — производная 1 на половине области определения</p><p> </p><p><a href="/r.php?u=https%3A%2F%2Fmedium.com%2F%40prateekvishnu%2Fxavier-and-he-normal-he-et-al-initialization-8e3d7a087528&s=2367663734">Правильная инициализация параметров</a> — раньше инициализировались случайно, теперь инициализируют особым образом, который в некотором смысли гарантирует сохранение дисперсии сигнала при прохождении слоев, что в статистическом смысли гарантирует, что градиенты не будут затухать или взрываться</p><p> </p><p><a href="/r.php?u=https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FBatch_normalization&s=2682254322">Batch normalization</a> — особый слой, который стабилизирует градиенты</p><p> </p><p><a href="/r.php?u=https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FResidual_neural_network&s=3188443987">Skip connections</a> — способ пробросить градиент в глубокие слои напрямую без множественных промежуточных умножений. </p><p> </p><p>Все это позволило тренировать сети в качестве эксперимента глубиной в несколько тысяч слоев, но реально на практике слоев обычно 50-150</p>"