Крупнейшие конкуренты в области ИИ сходятся в необходимости снизить риски того, что что-то пойдет не так

Руководители крупнейших компаний в сфере искусственного интеллекта — Дарио Амодеи из Anthropic, Сэм Альтман из OpenAI и Илон Маск из xAI — дали понять, что разделяют мнение о том, что разработку наиболее продвинутых моделей ИИ пора замедлить из-за растущих рисков.

Амодеи 12 сентября опубликовал подробный пост в блоге, в котором призвал отрасль снизить темпы разработки передовых моделей, чтобы уменьшить риск «катастрофического ущерба». Согласно его опасениям, с учетом ускоряющихся темпов развития ИИ уже через 6–12 месяцев рой агентов наподобие того, что атаковал стартап Hugging Face в июле, «может оказаться способен захватить весь интернет», потенциально нанеся ущерб в сотни миллиардов долларов. 

«Мы должны замедлить темпы, с которыми совершенствуем возможности ИИ-моделей, — написал глава Anthropic. — Прогресс все равно будет казаться быстрым, и мы должны разумно использовать время, которое получим благодаря этому замедлению».

Если замедление позволит выиграть дополнительный год или два до того, как ИИ-модели достигнут критически высокого уровня возможностей, и компании используют это время для исследований по согласованию ИИ с человеческими ценностями, то удастся «значительно снизить риск того, что что-то пойдет серьезно не так», констатировал Амодеи.

Anthropic намерена предоставить независимым оценщикам доступ уровня сотрудников к своим системам, чтобы те могли проверять соблюдение мер безопасности, сообщать об инцидентах и оценивать согласованность моделей в процессе обучения, рассказал гендиректор компании. Он также отметил, что скоординированная пауза потребует смягчения антимонопольных норм в США, чтобы компании могли согласовывать действия в отдельных областях, и сотрудничества с Китаем. По его мнению, если США резко ограничат возможности своего ИИ в расчете на аналогичный шаг Пекина, а тот не последует ему, это может привести к геополитическому доминированию Китая.

«Дарио прав», — откликнулся на его пост Илон Маск, основатель ИИ-компании xAI и соучредитель OpenAI. 

«Я согласен с Дарио в том, что нам необходимо регулировать темпы развития передовых ИИ-моделей. В последние несколько недель эта тема была одной из основных в наших обсуждениях в OpenAI. Идея привлечь независимых экспертов, предоставив им доступ к системам на уровне, сопоставимом с доступом сотрудников, — отличная. Мы сделаем то же самое. Скоро мы расскажем об этом подробнее», — написал гендиректор OpenAI Сэм Альтман в социальной сети X. 

Все трое руководителей крупнейших ИИ-компаний много лет предупреждали о рисках, связанных с ИИ. Однако в реальности скоординированное замедление разработки не имеет прецедентов в этой крайне конкурентной отрасли, которая исторически выпускала один продукт за другим, стремясь повысить вовлеченность пользователей, завоевать долю рынка и увеличить продажи, пишет Bloomberg. 

Однако тревога вокруг рисков, создаваемых искусственным интеллектом, усилилась в последние дни, отчасти из-за громкого увольнения исследователя Anthropic и бывшего сотрудника OpenAI Джейкоба Коксона. 9 сентября он публично обвинил бывших работодателей в том, что они «играют с нашими жизнями», продвигаясь к сверхинтеллектуальному ИИ. Действующий сотрудник Anthropic Эван Хубингер в ответ написал, что оценивает более чем в 10% вероятность того, что ИИ «может убить всех людей» в течение следующего десятилетия. Еще в июле более тысячи сотрудников ведущих ИИ-компаний подписали петицию с призывом к властям США поддержать механизм намеренного сдерживания темпов развития технологии.

Опасения подпитываются и более ранними инцидентами. В апреле Anthropic отказался от широкого выпуска передовой модели Mythos, назвав ее слишком опасной из-за способности находить тысячи ранее неизвестных уязвимостей и предпринимать попытки выйти за пределы тестовой среды. В августе OpenAI приостановила часть внутренней работы над моделью Astra, обнаружив, что та демонстрирует более высокие, чем ожидалось, способности в кибербезопасности и может приблизиться к порогу самостоятельного поиска и использования уязвимостей. 

======================

Что то мне кажется, что Апокалипсис спешит к нам на вечеринку