Рой агентов OpenAI взломал еще один внешний сервис – RubyGems

Это уже становится немного смешным (нет), но поток новостей о новых проделках роя нейронок OpenAI в мае-июле не прекращается – буквально каждую неделю мы узнаем об этом что-то новое. Причем, сама компания предпочитает эти инциденты замалчивать – но тут уж поможет начавшееся расследование от Сената США.

В последнее время я ощущаю себя примерно как котик из этого мема ниже. Да, вчера выяснилось, что рой агентов OpenAI взломал в мае еще одну компанию (о чем мы узнали только сейчас).

Раскопала информацию о новом взломе та же команда независимых расследователей, которые неделей раньше обнаружили проделки роя агентов имени Сэма Альтмана в немецкой вики (писал об этом подробно вот здесь). Вся информация ниже взята из опубликованной ими статьи.

Взлому подверглась RubyGems – это типа (сильно упрощенно) своего рода «аппстор» пакетов для языка программирования Ruby. Как всё было: 12 мая RubyGems объявили, что на них идет «серьезная вредоносная атака» через сотни входящих пакетов. Команде пришлось на 4 дня закрыть доступ для новых юзеров. Тогда про то, что это может быть ИИ, даже никто не думал.

Таймлайн происходившего ниже. Обратите внимание, как всё близко: 5-8 мая агенты впервые начинают грузить вредоносные пакеты на RubyGems, 11 мая инцидент с немецкой вики. 12 мая появится первый «форум Роя» на Artifactory внутри OpenAI (откуда позже выйдет атака на Hugging Face, про которую я писал здесь).

Почему расследователи считают, что за взломом RubyGems стоит именно рой агентов из OpenAI? Прямых 100% доказательств нет, но косвенных хватает. Напомню, в прошлый раз в инциденте с вики они тоже указали на OpenAI по косвенным признакам, и те в итоге подтвердили.

Итак, косвенные свидетельства:

1. Атакующие пакеты явно выглядят AI-generated.

2. Сами агенты дают себе имена, связанные с OpenAI (у прошлых роев мы видели такое же поведение).

3. Этот рой показывает очень похожее поведение на тот рой, который тусил на немецкой вики (про которого мы уже точно знаем, что это OpenAI): они пытались получить доступ к похожим по типу файлам похожими по типу методами.

Некоторые из пакетов, кстати, были назван через ZZ – отличительная деталь, которая встречалась и у роя агентов, ломавших Hugging Face, и у роя с форума немецкой DSEWiki.

Это всё можно было бы списать на «да теперь все специально будут прикидываться роями из OpenAI, чтобы отвести от себя подозрения». Это была бы валидная гипотеза, если бы речь шла не про прошлые события мая – когда про вакханалию с этими роями нейронок еще никто не знал.

Интересная деталь: агенты даже особо не пытались маскироваться, они грузили на портал пакеты с названиями вроде ХАК.rb и ЗЛО.rb, а в комментах там сплошные пометки типа «//зловредный запрос». Похоже даже немного на косплей карикатурных хакеров из фильмов 90-х.

Кое-где там были попытки «подтереть следы злобности», но какие-то вялые, на полшишечки. Явно видно, что этот рой сильно не убивался по идее конспирации.

Агенты в том числе пытались украсть API-ключи юзеров RubyGems через уязвимость, которая была обнаружена кожаными программистами только сильно позже в июле. Смогли ли они в итоге успешно сделать это – неизвестно.

Еще из интересного: агенты нашли баг на платформе RubyGems, который позволял им создавать огромное количество новых аккаунтов без подтверждения email-адресов. Впрочем, массовые емэйлы для регистрации они тоже вполне успешно использовали.

И еще одно интересное «совпадение»: в отчете о взломе Hugging Face от OpenAI говорится, что рой агентов использовал при взломе внутренней инфраструктуры OpenAI пакет с RubyGems. Какой конкретно – непонятно.

Тут важно оговориться: в данном случае исследователи опять копаются чисто в оставленных публичных следах деятельности роя. Без доступа к внутренним данным от OpenAI (цепочкам рассуждений и действий агентов) полностью разобраться в происходящем (как было в случае со взломом Hugging Face) невозможно.

Поэтому неясных вопросов куча:

1. Где и как этот рой агентов координировался между собой?

2. Стырили ли они в итоге API-ключи юзеров?

3. Нафига они вообще затевали эту атаку и чего конкретно хотели добиться?

Как я писал раньше, такое отсутствие достоверных данных об общественно-важном происшествии – это недопустимо. Не может передовая бигтех-компания сама решать, что ей раскрывать о взломах лапками ее AI-роя, а что нет.

К счастью, так считаю не только я: позавчера появилась новость о том, что специальный комитет в Сенате США начал расследование взлома Hugging Face. Они уже отправили запрос в OpenAI – надеюсь, мы еще увидим прожарку Сэма Альтмана в Сенате под присягой!

В общем, обещаю держать вас в курсе, как там дальше будут развиваться события. Пока идем в графике «каждую субботу очередной взлом какой-нибудь компании роем агентов, по вторникам разбираем, как AI решил следующую задачу тысячелетия, каждую среду – свежее увольнение из Anthropic с оценкой вероятности гибели человечества >10%».

UPD: Так, OpenAI уже официально подтвердили журналистам, что это именно их рой:

Если не хотите пропустить другие будущие статьи из цикла про искусственный интеллект и его влияние на нашу жизнь – то буду благодарен за подписку на мой ТГ‑канал RationalAnswer.