пока ИИ особо далеко не ушли от Алисы

Вот и пришел первый «черный лебедь» краха «пузыря AI» — запомните этот пост. Не пройдет и нескольких месяцев, как разговоры о том, кого и когда еще заменят AI сменятся на вопли инвесторов, вложивших бабки в очередной пузырь.

Если коротко — все прорывы последних 3 лет в нейросетях вызваны случайной находкой команды исследователей (ставших потом основой команды OpenAI) механизма «self-attention», позволившего потом создать текущую трансформерную архитектуру. Затем тупо масштабировали мощности, объем датасетов для обучения и т.п. Полученные первые результаты позволили привлечь в отрасль громадные инвестиции, но уже сейчас понятна проблема — масштабирование больше не работает, теоретические пределы существующего решения уже достигнуты. 

Сейчас все ведущие команды в области ИИ продолжают дожигать в печи средства инвесторов, пытаясь в очередной раз чудом обнаружить при эксперименте новый механизм, который устранит основные проблемы текущих моделей — неточность и галлюцинирование. Но не выходит у Данилы мастера каменный цветок и приходится в очередной раз выдавать косметические улучшения за новый этап. 

Когда Сэма Альтмана через несколько месяцев начнут сравнивать c Берни Мэдофф — не забудьте про этот пост.