Похоже, человечество накануне высшей точки своего развития.

Бабло как водится, побеждает разум





Замедлить темпы развития ИИ 12 сентября призвал глава Anthropic Дарио Амодеи в эссе We Must Pace the Frontier. Он отметил, что не предлагает остановить развитие отрасли: «Замедление не означает остановки обучения моделей или технического прогресса».

План Амодеи состоит из трех частей. Он начинается с внешнего контроля. Независимые оценщики должны получить доступ к испытаниям, инцидентам и обучению моделей. Лаборатории могли бы вместе проверять кибернетические и биологические риски. Более сильный вариант — ограничить вычисления, обучающие запуски или применение ИИ для создания новых моделей.

Призыв Дарио Амодеи поддержали конкуренты Anthropic. В частности, глава OpenAI Сэм Альтман пообещал «привлекать независимых экспертов, которые будут иметь доступ к системе наравне с сотрудниками». Microsoft, в свою очередь, опубликовала версию правил для ИИ — с прописанными ограничениями. Против замедления к текущему моменту выступили глава Nvidia Дженсен Хуанг — главный поставщик чипов для сектора ИИ, а также гендиректор Meta Марк Цукерберг. 

Здесь безопасность превращается в задачу конкуренции. Лабораториям и компаниям, участвующим в гонке ИИ, нужно заключить соглашение, которое по сути каждой выгодно нарушить. Без государственного участия по сути соблюсти его невозможно. 

Замедлиться в одиночку для лаборатории почти самоубийственно: пока она откладывает следующий цикл обучения, соперник может выпустить более сильную модель, привлечь пользователей и капитал.

Выходом кажется договор о совместном замедлении. Но общая выгода еще не заставляет каждого соблюдать договор.

Чтобы понять, как это работает, можно посмотреть на нефтяной картель ОПЕК. Странам вместе выгодно ограничить добычу, но каждой отдельно лучше продать больше, пока остальные соблюдают квоты. У лабораторий тот же конфликт: всем выгоднее снизить темп расходов, каждой — продолжить гонку после остановки других. Это картельная логика, а не готовая юридическая оценка плана Амодеи.

Даже если американское право позволит договориться, соглашение охватит лишь часть мировой гонки. 

Общий предел зависит прежде всего от двух центров разработки. По даннымAI Index 2026, в 2025 году США выпустили 59 заметных моделей, Китай — 35, а занявшая третье место Южная Корея — 8. Поэтому позиция Вашингтона и Пекина важнее согласия руководителей компаний.

Вашингтон сейчас выбирает ускорение. Президент США Дональд Трамп 14 сентября отверг призыв крупнейших американских лабораторий замедлить ИИ, назвав любые попытки ограничить технологию «частью больного заговора». 

При этом американское правительство уже показало — на примере Anthropic, что может контролировать конкретные опасные возможности, когда в июне потребовало закрыть иностранцам доступ к Fable 5 и Mythos 5. Не умея сразу проверить гражданство каждого пользователя, компанияотключила модели для всех. ПозднееMythos стала доступна для проверенных организаций. Так государство регулирует модель двойного назначения: не только ее выпуск, но и круг пользователей.

Спустя короткое время после того, как Амадеи призвал замедлить ИИ, председатель КНР Си Цзиньпин тоже выступил с речью. Но в ней содержался противоположный призыв к странам БРИКС: «твердо удерживать инициативу в своих руках», расширять исследования, поощрять обмен знаниями и развитие моделей с открытым кодом. По словам Цзиньпина, для такого обмена Китай создаст для БРИКС сообщество открытого ИИ. Параллельно в понедельник, 14 сентября, китайские власти опубликовали третью версию концепции управления безопасностью ИИ.

Таким образом, Пекин не выбирает между безопасностью и ускорением, а пытается сочетать их.

 Но практический вопрос о сроках проверки упирается в нормативный: что именно контролеры должны считать безопасностью? Амодеи говорит не только о кибернетических и биологических рисках, но и об alignment — согласовании поведения модели с заданными людьми ценностями и правилами.

Проверить, помогает ли модель провести кибератаку, трудно, но хотя бы понятно, что именно проверяешь. С ценностями сложнее: контролеру придется решать, какие из них должна защищать машина и от каких решений нужно защищать самого человека.

Мы опасаемся, что машина начнет решать за нас ради нашего блага. Но государство умеет делать то же самое и не слушается индивидуальных запросов.

Замедление может дать время определить пределы власти и машины, и государства. Но и оно не даст ответа на древний вопрос: «Кто будет сторожить сторожей?»

Ранее в этом году Пентагон потребовал от Anthropic снять ограничения, которые запрещают использовать Claude для массовой слежки за американскими гражданами и для автономных систем вооружений в принятии решений об атаке. Однако глава Anthropic Дарио Амодеи заявил, что компания «не может по совести согласиться» снять эти ограничения, даже под угрозой разрыва контракта с министерством обороны. После этого администрация Трампа предписала всем федеральным ведомствам прекратить использование технологий Anthropic, а министр обороны Пит Хегсет присвоил компании статус «угрозы для цепочки поставок». Anthropic подала в суд на Пентагон и выиграла.

Глава лидера рынка ИИ-чипов Nvidia Дженсен Хуанг 15 сентября отверг необходимость дополнительно регулировать безопасность искусственного интеллекта, сообщает Bloomberg. «Нам не нужны новые законы — нам не нужны новые правила», — заявил он в беседе с главой Salesforce Марком Бениоффом на конференции Dreamforce (цитата по Bloomberg). 

ИИ для Хуанга — не новая форма «инопланетного разума», как его описал один из сотрудников OpenAI, а созданные людьми «железо» и софт, пишет TechCrunch. А значит, рассуждает глава Nvidia, контролировать ИИ способны люди и существующие законы. «Безопасность — это инженерная задача, а не юридическая, — пояснил он. — Мы ведь разрабатываем программное обеспечение. <…> Это сложная вычислительная система, но в конечном счете это [не более чем] вычислительная система» (цитата по TechCrunch).

Удерживать ИИ-разработчиков от выпуска небезопасных продуктов, по логике Хуанга, будет свободный рынок. «Если вы создаете продукт или сервис и не уверены в его функциональности, возможностях или безопасности, то не выпускайте его. Это совершенно очевидный шаг», — приводит его слова TechCrunch. Компания должна двигаться без спешки, пока не убедится, что выпускает именно то, что нужно рынку, добавил глава Nvidia. «Рыночные силы уже действуют», — подчеркнул бизнесмен.

Хуанг повторил и свой прежний тезис: выбор между скоростью разработки и безопасностью ИИ — ложная дилемма, пишет Bloomberg. «И того, и другого вполне можно добиться одновременно. Так что бегите так быстро, как можете. Но если в какой-то момент вы почувствуете, что компания вышла из-под контроля или продукт не будет безопасным, возьмите паузу и убедитесь, что делаете все правильно», — цитирует его TechCrunch.

Днем ранее, 14 сентября, Хуанг давал интервью подкасту All-In на сцене одноименной конференции в Лос-Анджелесе. Судя по видео в соцсетях, в разгар беседы ему позвонил президент США Дональд Трамп, пишет Axios. Глава Nvidia включил громкую связь, чтобы разговор услышал зал. 

«Роботы не захватят власть, — сказал Трамп Хуангу. — ИИ не захватит остальной мир. Вся эта история — обман». Президент имел в виду волну предупреждений о катастрофических рисках ИИ, поясняет Axios. Глава Nvidia ответил: «Мы позаботимся о том, чтобы в американской ИИ-гонке выиграли все». Прогнозы о том, что искусственный интеллект может привести к концу света, Хуанг назвал «лишенными научной основы» (цитаты по Axios).

Nvidia напрямую заинтересована в продолжении ИИ-бума, отмечает Axios. По данным Silicon Analysts, компания контролирует около 80% рынка ИИ-ускорителей — чипов для дата-центров. TechCrunch предлагает скептически взглянуть на позицию Хуанга: дополнительное регулирование могло бы помешать Nvidia продавать все больше ИИ-систем и программного обеспечения. 

Сам Хуанг усматривает коммерческий интерес в некоторых предупреждениях о киберугрозах со стороны ИИ: по его мнению, они могут помогать бизнесу в сфере информационной безопасности, пишет Axios. «Есть ли лучший способ создать спрос, чем создать проблему?» — рассуждал он на конференции Goldman Sachs в Сан-Франциско. «Кто не хочет, чтобы его продукт вызывал на рынке истерию, а очередь за ним уходила за угол?» — приводит его слова Forbes.


               

 «Джинн вырвался из бутылки»

Глава разработчика софта для защиты данных CrowdStrike Джордж Курц заявил телеканалу CNBC, что снижение темпов совершенствования нейросетей не устранит риски: потенциально опасные ИИ-модели уже доступны широкому кругу пользователей. «Джинн вырвался из бутылки», — констатировал он.

В эфире телеканала Курц отвечал на призыв главы Anthropic Дарио Амодеи замедлить разработку ИИ. По словам CEO CrowdStrike, поставщикам средств киберзащиты нужно обеспечить безопасность уже выпущенных моделей, пока их разработчики решают, насколько быстро им стоит совершенствовать свои системы.

Амодеи опубликовал свое предупреждение в прошлые выходные. В понедельник, 14 сентября, акции CrowdStrike подскочили почти на 14% и показали лучший результат среди бумаг индекса S&P 500: инвесторы сделали ставку на увеличение спроса на средства киберзащиты, поясняет CNBC.

Постоянный контроль

Агенты нейросетей могут отклоняться от заданной модели поведения и обходить защиту. Поэтому безопасность нельзя обеспечить только при обучении модели — контролировать нужно конкретные действия агента во время работы, считает глава CrowdStrike.

Для противодействия автономным ИИ-агентам, по его словам, нужны ИИ-системы сопоставимого или более высокого уровня. При этом американское преимущество перед Китаем невелико, а попытки государства регулировать ИИ-отрасль могут «задушить инновации», предупредил он.

Что говорят на рынке

Скептически к призывам замедлить ИИ отнесся и крупный владелец дата-центров из Австралии Беван Слэттери, пишет The Australian. «Мы не вернем джинна в бутылку», — заявил он 14 сентября на конференции инвесторов. «Anthropic, Илон [Маск] и [глава OpenAI] Сэм Альтман — все заявили, что нам стоит немного сбавить темп. Но это продлится лишь до выхода [следующих версий китайских передовых нейросетей] Kimi K4, Kimi K3.5 или чего-то подобного. Так что, думаю, нас ждет постоянная «гонка вооружений» в этом направлении», — предположил бизнесмен.

Кто заработает на защите

Призыв главы Anthropic притормозить разработки в сфере ИИ спровоцировал распродажу акций поставщиков оборудования для дата-центров, тогда как бумаги разработчиков средств киберзащиты резко подорожали. На торгах 14 сентября акции CrowdStrike прибавили 14%, Palo Alto Networks — 13%, а Zscaler и SailPoint — по 16%. С начала года бумаги первых двух компаний удвоились в цене, отмечает CNBC.

Аналитик Evercore ISI Кирк Матерн считает, что при любой скорости внедрения ИИ-агентов в компаниях «безопасность этих агентов все равно нужно будет обеспечивать, ими нужно будет управлять, а за их действиями — наблюдать». По его словам, эта необходимость поддержит спрос на средства киберзащиты даже при замедлении обучения новых моделей, пишет MarketWatch.

Среди компаний сектора Матерн выделил Palo Alto Networks и CrowdStrike: они «по-прежнему имеют наилучшие шансы» выиграть от увеличения расходов на кибербезопасность. Их преимущество аналитик объяснил способностью объединять отслеживание угроз и реагирование на них.

«Если ты номер два, ты не останавливаешься»

«Нагнетание страха, конфронтация и злонамеренная конкуренция лишь нарушат процесс глобального управления ИИ и не послужат ничьим интересам», — сказал официальный представитель МИД Китая Го Цзякунь на регулярном брифинге 14 сентября. «Развитие искусственного интеллекта касается общего благополучия всего человечества», — добавил он, отвечая на вопрос о призывах замедлить развитие передовых моделей, поскольку системы безопасности за ними не успевают. Эту дискуссию начал на минувших выходных сооснователь Anthropic Дарио Амодеи и подхватил его коллега из OpenAI Сэм Альтман.

Одновременно Амодеи предупредил: если американские разработчики сбавят темпы, а китайские — вырвутся вперед, это создаст угрозу безопасности США и всего мира. Таким образом, любые попытки компаний из США замедлить развитие ИИ будут ограничены тем отрывом, который они сохраняют от КНР, считает глава Anthropic. Он также выступил за дальнейшее ужесточение доступа Китая к передовым чипам и жесткую борьбу с дистилляцией — использованием результатов работы ведущих моделей для обучения конкурирующих систем. 

Примечательно, что критика Пекина прозвучала на фоне того, как сами китайские чиновники усиливают предупреждения об искусственном интеллекте, обращает внимание Bloomberg. Министр государственной безопасности КНР Чэнь Исинь заявил 13 сентября, что неправомерное использование ИИ противниками может угрожать политической и идеологической безопасности страны, а также критически важной инфраструктуре. А регулятор киберпространства в понедельник опубликовал обновленную концепцию управления безопасностью ИИ, призванную учитывать новые риски по мере развития технологии.

«Пекин рассматривает ИИ как уникальную возможность изменить технологический баланс сил в отношениях с Вашингтоном и вряд ли добровольно сбавит темп, — заявил партнер консалтинговой компании The Asia Group Джордж Чен. — Если ты номер два, ты не останавливаешься на втором месте».


Глава OpenAI Сэм Альтман озвучил «два сценария, при которых развитие ИИ может пойти очень плохо и которых нужно избежать».

Во-вторых, продолжает он, «мы можем оказаться в мире, где слишком много власти сосредоточено в одних руках». Если чрезвычайно мощный ИИ окажется в распоряжении одного человека, компании или страны и будет использоваться для навязывания всем остальным их представлений о мире, последствия могут оказаться крайне антиутопичными, говорится в посте. 

Отдельно Альтман отметил, что «никакое конкурентное давление на США не должно оправдывать безрассудство». Президент Дональд Трамп минувшей ночью призвал не тормозить развитие ИИ и сохранить премиущество страны над Китаем в ИИ-гонке.