Continuous Autoregression Language Models (CALM) это все равно что перестать говорить азбукой Морзе… и сразу перейти к разговору через «широкий поток мыслей».
Конкуренция за первенство в технологическом секторе между США и Китаем продолжается и пока Трамп переговаривался с Си, а акции технологического сектора погружаются в «красноту» почти на 2,5% (XLK -2,48%) появилась новая технология - Continuous Autoregression Language Models (CALM), которая по сути, уничтожает парадигму “следующего токена”, на которой строится каждый LLM.
Вместо того, чтобы прогнозировать «один токен за один раз», CALM прогнозирует непрерывные векторы, которые представляют несколько токенов одновременно.
Смысл: модель не думает “слово за словом”… она продумывает идеи на каждом шаге.
Вот почему это прорыв:
→ в 4 раза меньше шагов прогнозирования (каждый вектор = ~4 токена)
→ на 44% меньше вычислений для обучения
→ Нет дискретной лексики, только непрерывные рассуждения
→ Новая метрика (BrierLM) полностью заменяет perplexity
Они даже создали новый энергетический трансформатор, который обучается без softmax, без выборки токенов и без ограничения словарного запаса.
Это все равно что перестать говорить азбукой Морзе… и сразу перейти к разговору через «широкий поток мыслей».
Если так пойдет и дальше, то все современные магистратуры устареют.
