Новости рынков | Банк России выпустил первый системный документ по информационной безопасности при использовании ИИ в финансовой сфере. Рекомендации содержат описание рисков, тактик атак на системы ИИ, меры защиты

Цель документа: обеспечение единства подходов кредитных и некредитных финансовых организаций, субъектов НПС к реализации принципа безопасности, надёжности и эффективности при разработке и применении ИИ (в соответствии с Кодексом этики в сфере ИИ на финансовом рынке). Рекомендации систематизируют риски применения ИИ в финансовых организациях

Основные риски ИИ, связанные с ИБ и операционной надёжностью:

1. Управление данными («отравленные», неактуальные или некорректные наборы данных).

2. Нарушение конфиденциальности (утечка данных, нарушение авторских прав).

3. Нарушение функционирования модели (галлюцинации, дрейф данных).

4. Недостаточная объяснимость/предсказуемость (невозможность интерпретировать решения ИИ).

5. Сбои в интеграции, неправомерные действия персонала, нарушение операционной деятельности.

Критические процессы: при высоких рисках для платежей, учётных систем и других критически важных процессов рекомендуется валидация результатов ИИ человеком с возможностью корректировки.

Модель угроз безопасности системы ИИ: рекомендуется разрабатывать с учётом этапов жизненного цикла ИИ (подготовка данных → разработка → обучение и тестирование → функционирование).

Специфические угрозы для технологий ИИ:
– Нарушение функционирования («обход») средств ИИ.
– Искажение («отравление») обучающих данных.
– Раскрытие информации о модели ИИ, хищение обучающих данных.
– Модификация модели (архитектуры, последовательности взаимодействий).
– Приведение модели в состояние «отказ в обслуживании».
– Манипуляция поведением модели, подмена модели ИИ.

Меры защиты (по этапам жизненного цикла):
– Подготовка данных: контроль и очистка аномалий, шифрование, контроль целостности, обезличивание/маскировка.
– Разработка модели: анализ уязвимостей, криптографическая целостность, отслеживание изменений в коде и документации.
– Обучение и тестирование: состязательное обучение, защитная дистилляция, ансамблевые методы, федеративное обучение, «цифровые метки», тестирование на «отравление» и проникновение.
– Функционирование: шифрование входных/выходных данных, контроль аномалий, регистрация событий, ограничение параметров запросов, мониторинг штатного функционирования.

Политика обеспечения ИБ при разработке и применении ИИ: рекомендуется разработать или дополнить внутреннюю политику, включающую целевые свойства ИБ (целостность, конфиденциальность, доступность, киберустойчивость, достаточная объяснимость/предсказуемость), минимальные права доступа, безопасную разработку, обучение персонала, полномочия и ответственность, комплаенс, а также порядок действий в нештатных ситуациях (включая аварийную остановку системы ИИ).

Open-source и сторонние сервисы: рекомендуется проводить оценку рисков, вести учёт моделей и компонентов с открытым кодом, оценивать доверие к поставщикам (участие в Bug Bounty, наличие модели угроз, регулярные аудиты, безопасный жизненный цикл разработки, лицензионная чистота). Передавать поставщикам для обучения только «очищенные» или синтетические/обезличенные данные.

Ответственный: заместитель руководителя по вопросам защиты информации (за разработку политики и контроль).