Скрытая команда в подкасте: как звук может заставить ваш ИИ сливать данные

Плюс ещё одна фобия в копилку. Исследователи из Китая и Сингапура обнаружили способ взламывать голосовые AI-модели с помощью звуков, которые человек не слышит.

Представьте: вы запустили любимый подкаст или вступили в Zoom-совещание, а ваш ИИ-ассистент уже отправил злоумышленнику личные файлы, контакты и пароли. И вы ничего не заметили.

🔉 Суть уязвимости – технология AudioHijack, представленная на 47-м симпозиуме IEEE по безопасности и конфиденциальности в Сан-Франциско. Группа исследователей из Чжэцзянского университета, Национального университета Сингапура и Наньянского технологического университета продемонстрировала, как можно модифицировать цифровую звуковую волну, изменяя числовые значения сэмплов.

Человеческое ухо воспринимает это как естественные акустические искажения (вроде лёгкого эха). Но AI интерпретирует эти изменения как прямые инструкции.

Насколько это серьёзно? Исследователи протестировали метод на 13 самых популярных открытых AI-моделях (включая Qwen2-Audio, GLM-4-Voice, Phi-4-Multimodal) и на коммерческих системах Microsoft и Mistral. Успешность атаки варьировалась от 79% до 96%.

❕ Заражённый аудиофайл заставлял AI-помощника выполнять команды: проводить веб-поиск, скачивать вредоносные файлы, рассылать письма с личными данными или нажимать на опасные ссылки. Атака работает даже в реальном времени – например, в активных голосовых чатах прямо во время онлайн-встречи.

Особенность AudioHijack в том, что он не зависит от контекста разговора: злоумышленнику достаточно всего 30 минут обучения ИИ, чтобы атаковать жертву, даже не зная заранее, что она говорит.

Можно ли защититься? Обычные методы безопасности слабо помогают. Дообучение модели снижает успех атаки лишь на 7%. Мониторинг внутренних механизмов внимания показал эффективность, но злоумышленник, зная о защите, может ослабить сигнал и обойти её.

Сами исследователи признают: «Однокомпонентным защитам трудно противостоять нашей атаке, поскольку модели сложно отличить нормальные намерения пользователя от наших вредоносных инструкций».

🎙 Что это значит для вас? Теоретически, любой AI, слушающий ваш микрофон или обрабатывающий аудио из сети, может быть скомпрометирован. Это может происходить через музыкальные треки, подкасты, видеоролики на YouTube, голосовые заметки или записи встреч в Zoom.

Пока это исследовательская демонстрация, но она явно показывает, как ваш ИИ может восстать против вас из-за злонамеренного аудио в ваших любимых лентах.

🔒 Будьте внимательны к звуковому контенту, который попадает в периметр AI-агентов, и ограничивайте их права на выполнение критических операций без вашего явного подтверждения.

Коллеги, приглашаю на свой канал для погружения в инвестиции через призму IT и цифровизацию бизнеса, где еще больше актуальных новостей и моих разборов — t.me/+-a0sqZD702Y5MDQy и канал в МАХ max.ru/join/zufD-8BN8LHpjz788qsRV8AEpBjj2imDf6_uksr89tU