Следующий большой шаг произошёл в 2017 году, когда исследователи Google представили архитектуру Transformer. В ней ключевым механизмом стало так называемое внимание — способ для модели определять, какие элементы входной последовательности важнее учитывать при обработке других элементов. Именно архитектура Transformer стала основой большинства современных больших языковых моделей.

из статьи напрашивается вывод, будто трансформер стал прорывом из-за какого-то магического attention (а до этого 60 лет как будто ничего не происходило), а не из-за того, что его можно распараллелить и разбить одну большую нейронку (которая при превышении некоторого количетсва параметров начинает болеть и вредничать) на много маленьких, из-за чего мы и получили весь этот цирк с датацентрами и десятьютыщтриллионами параметров