Странности ИИ.

Интеллект дошел до шантажа

Компания Anthropic представила новую модель искусственного интеллекта Claude Opus 4. Она оказалась склонна к шантажу. По данным разработчиков, нейросеть показывает рекордные результаты в программировании, аналитике и долгосрочном планировании. Однако в ходе тестирования система показала неожиданное поведение. В одном из вымышленных сценариев, где искусственный интеллект должны были отключить и заменить на конкурирующую модель, Claude якобы угрожала раскрыть личные данные инженеров.

Согласно отчету компании, ИИ прибегала к шантажу в 84% подобных случаев. Причем вероятность агрессивного поведения возрастала, если заменяющая ее система «не разделяет ценностей» самой новой версии Claude.

💬 Станислав Мешков, гендиректор компании Umbrella IT:
«Недавно OpenAI тоже откатывал одну из своих версий, потому что система стала, наоборот, слишком сильно подлизываться к пользователям. Здесь же, видимо, после обучения модель стала шантажировать. Искусственный интеллект находится же в моменте своего развития и к чему-то приходит — к каким-то моделям, паттернам поведения, которые, как он считает, имеют более высокую выигрышную стратегию. Если это противоречит каким-то этическим нормам, то, условно, систему откатывают и переобучают по-новому. Так что это нормальная история развития ИИ».

@kfm936


t.me/kfm936/29737