Список проголосовавших за комментарий "Василий Петров, ну нет же. Там не mlp внутри, посмотрите как выглядит mlp и как выглядят слои self attention. Это вообще принципиально разные вещи. У mlp нет механизма внимания, нет рекурентности, он вообще простейшее. Наш мозг тоже состоит из клеток, но это не значит что мозг можно сравнить с одноклеточным организмом. То что нейросети появились с mlp не значит что они до сих пор состоят из mlp. Невозможно на одних mlp сделать современную gpt модель даже если количество весов будет одинаковое, там принцип другой совсем"