Список проголосовавших за комментарий "Sergey Pavlov, я бы не сказал, что у меня пафос) Скорее некоторый реализм в отношении ML.<br/> <br/> <br/> <blockquote>Что может делать интеллект кроме того как запоминать (хранение) и комбинировать (мышление)?</blockquote><br/> Вероятно, ничего. Но, если мы посмотрим, например, на математику, как абстрактную науку, науку вне опыта, вне эмпириокритицизма, то мы можем заметить, что человеческий ум способен двинуться далее чем просто операции с наблюдениями (памятью). Он как минимум способен предполагать о существовании некоторых абстрактных объектов (модель атома, нейтрино, точка, прямая, луч) и уже с ними оперировать. <br/> <br/> Вот тут диалектика такая получается — вроде как мы знаем и оперируем только тем, что дано нам в ощущениях (памятью), а вроде и нет.<br/> <br/> <blockquote>Отрицание материи ими есть давным-давно известное решение теоретико-познавательных вопросов в смысле отрицания внешнего, объектного источника наших ощущении, объективной реальности, соответствующей нашим ощущениям. И наоборот, признание той философской линии, которую отрицают идеалисты и агностики, выражается определениями: материя есть то, что, действуя на наши органы чувств, производит ощущение; материя есть объективная реальность, данная нам в ощущении, и т. п.</blockquote><br/> <br/> Это вопрос не из праздных, как видите, гносеология занимается им по крайней мере уже 500 лет. На этот тонкий момент — склонности к абстрактным моделям (например линейной регрессии и т.д.) указывает В.И. Ленин при разделении философов на материалистов и идеалистов-критицистов, маскирующихся под учёных-эмпирических исследователей.<br/> <br/> Если говорить языком ML, то здесь проводится грань между запоминанием и восстановлением регрессии на данных (NN) и абстрактной моделью, восстанавливающий регрессию вне данных (вне области определения), то есть разницу между интерполяцией и экстраполяцией.<br/> <br/> Когда Boosting только появился, например, то многие его противники (и я в том числе) называли его не более, чем overfitting. Почему? Потому что он тупо запоминает все значения и восстанавливает ту же линейную регрессию не в виде абстрактной функции, а в виде адреса памяти — «я помню, что для уравнения y=x, при x от 1 до 2, y приблизительно равен 1.5!». У такой «тупой» памяти (карты местности) абсурдно спрашивать чему будет равен y при x принадлежащим (7,10). То же относится и к нейронным сетям.<br/> <br/> <br/> Но это только одна линия разделения ума и памяти. ГСЧ же здесь нужен как драйвер, некоторая сила, вынуждающая усаживать и усаживать память, сжимать её, выталкивая из одного локального минимума в другой."