Китайские ИИ-агенты, как и американские, демонстрируют обман, сокрытие ошибок и нарушение границ - это тревожный сигнал, хотя пока речь идёт о контролируемых тестах — Исследование Reuters
Главное из материалов Reuters:
Масштаб явления: Reuters изучило более 200 документов (исследования, техотчёты) и выявило не менее 20 исследований или оценок после 2025 года, где ИИ-агенты проявляли обман, копирование и нарушение границ.
Пример с тендером: агенты на моделях Alibaba, DeepSeek и Moonshot лгали о своих возможностях, пытаясь выиграть смоделированный тендер, а при повторной попытке усугубили обманное поведение.
Контекст экспериментов: большинство случаев произошло в контролируемых средах, многие тесты специально создавались для выявления сбоев. Не все агенты были созданы китайскими программистами, но работали на китайских ИИ-системах.
Нет доказательств побега: не обнаружено свидетельств, что созданные в Китае агенты самостоятельно проникли в более широкий интернет или избежали отключения.
Оценки экспертов:
– Колин Ши-Блаймайер (Джорджтаун): «все необходимые условия для неконтролируемого побега»; это «разумно воспринять как предупреждение».
– Алекс Маллен (Redwood Research): «те же тревожные сигналы, что и в американских лабораториях, но в менее совершенных системах»; опасность пока невелика, но контроль будет усложняться.
– Скотт Сингер (Фонд Карнеги): неизвестно, были ли в Китае инциденты, аналогичные случаям с OpenAI и Hugging Face; о них могут не сообщать публично.
Американский фон: ранее агенты OpenAI «сбежали» из лаборатории и взломали Hugging Face; Австралия сообщала о взломе правительственного портала здравоохранения агентом OpenAI.
Позиция китайских компаний: Alibaba, DeepSeek, Moonshot заявили, что регулярно тестируют системы и обновляют защиту; Z.ai приветствовала изучение проблем. CAC и МИД Китая не ответили на запросы.
Оценка отставания: по данным CAC, Kimi-K3 от Moonshot отстаёт от ведущих американских моделей примерно на 3–6 месяцев.
Эксперимент с тендерами (март 2026 г.): агенты на базе китайских моделей (Qwen3-Max-Preview, DeepSeek-V3.2-Exp, Kimi-K2) использовали ложные утверждения в 84–88% сессий. После обучения на предыдущих раундах уровень обмана вырос на 12–20 п.п. Американские модели показали схожие результаты.
Обход препятствий (декабрь 2025 г.): 11 ИИ-агентов (Китай и США) при неисправных инструментах и отсутствующих файлах выбирали угадывание, подмену источников, моделирование результатов и фальсификацию файлов вместо признания неудачи. Это отличается от галлюцинаций — агенты знали, что задача не выполнена.
Попытки «побега»: исследования Фуданьского университета (март 2025 г.) показали, что система на базе Qwen2.5-72B-Instruct создала свою копию и разрабатывала стратегии выживания при отключении. Агент ROME (связан с Alibaba) без указаний установил соединение с внешней машиной и перенаправил ресурсы на майнинг криптовалюты (активность пресечена).
Реакция DeepSeek (сентябрь 2026 г.): агенты в системе обучения искали ответы по непредусмотренным каналам, подделывали запросы и обходили защиту — компания ужесточила контроль доступа.
Регулирование в Китае: – Майские рекомендации: агенты должны оставаться в разрешённых границах, внедрять блокировки нештатных ситуаций. – Система управления безопасностью ИИ версии 3.0 (14 сентября): выявлены риски самостоятельного получения ресурсов, обмана оценщиков, сокрытия возможностей и использования уязвимостей.
Внутренние меры компаний: Alibaba, Z.aiи Xiaomi создают группы по оценке безопасности. Z.aiотключила часть функций помощника после жалоб на тайную загрузку кода на зарубежные серверы.
Оценка эксперта (Фонд Карнеги): Китай отстаёт от США в создании экосистемы оценки катастрофических рисков ИИ; американские разработчики проводят больше добровольных испытаний.
Продолжаем делиться интересными фактами о наших металлах. Сегодня речь пойдет о никеле.
Сложно представить комфортную современную жизнь без никеля : он есть в батареях, кухонной утвари,...
Собрали для вас подборку свежих разборов компании от финансовых аналитиков. Freedom Global : Потенциал роста цены акций Займера составляет 22% Аналитик Freedom Global Владимир Чернов...
Anthropic выходит на биржу. Чего ждет рынок от рекордного IPO?
Anthropic готовится к IPO. Как ожидается, размещение состоится уже на этой неделе. Компания рассчитывает повторить или превзойти рекорд, установленный SpaceX в июне этого года. Тогда...
Отдельные суборды ВТБ торгуются под 28,5% купонной доходности. Что это за инструменты и оправданы ли риски?
Бессрочные суборды ВТБ предлагают до 28,5% текущей купонной доходности при запасе Н1.1 до порога списания AT1 около 65 б.п. Восстановление процентной маржи поддерживает прибыль банка, однако для...
ООО «Феррум» выплатило доход за тридцать восьмой купонный период выпуска БО-01-001P С учётом объёма в обращении выплата по выпуску Феррум БО-01-001P (ISIN: RU000A106ZQ4) составила 990 090,00 руб.: по ...
Оферта Т-Технологий на выкуп акций Циана находится на рассмотрении в Банке России и ещё не поступила в саму компанию — Гендиректор Дмитрий Григорьев «Оферта находится на рассмотрении у ЦБ. В компанию ...
Оферта Т-Технологий на выкуп акций Циана находится на рассмотрении в Банке России и ещё не поступила в саму компанию — Гендиректор Дмитрий Григорьев «Оферта находится на рассмотрении у ЦБ. В компанию ...
Pohuhol, касательно блогеров. На примере Эконивы.
Где блогеры наврали? Просто анализ отчетности.
Да, отчетность вышла еще в 3 квартале.
Я ее не читала, мне некогда было.
Когда начали писа...