В искусственном интеллекте (ИИ) галлюцинация или искусственная галлюцинация (также иногда называемая бредом)[1] — это уверенная реакция ИИ, которая, кажется, не подтверждается данными его обучения, или вымышленные ответы, не имеющие отношения к действительности[2]. Например, галлюцинирующий чат-бот, не зная о доходах Tesla, может выбрать случайное число (например, «13,6 миллиарда долларов»), которое чат-бот сочтет правдоподобным, а затем продолжать ложно и неоднократно настаивать на том, что доход Tesla составляет 13,6 миллиарда долларов, без каких-либо признаков критического пересмотра того, что цифра была продуктом его собственного воображения[3].
Такие явления называются «галлюцинациями», по аналогии с явлением галлюцинации в психологии человека. Аналогично тому, что человеческая галлюцинация — это восприятие человека, которое не может быть ощутимо связано с той частью внешнего мира, которую человек в настоящее время непосредственно наблюдает с помощью органов чувств, галлюцинация ИИ — это уверенный ответ ИИ, который не может быть обнаружен в его входных данных.
Галлюцинации ИИ приобрели известность примерно в 2022 году вместе с внедрением некоторых больших языковых моделей (LLM), таких как ChatGPT. Пользователи жаловались, что такие боты часто казались «социопатическими» и бессмысленно встраивали правдоподобно звучащую случайную ложь в свой генерируемый контент[4]. Другой пример галлюцинации в искусственном интеллекте — это когда ИИ или чат-бот забывают, что они одно целое, и утверждают, что они люди[5].
К 2023 году аналитики считали частые галлюцинации серьёзной проблемой технологии LLM[6]. В связи с ошибками искусственного интеллекта и связанными с этим угрозами Илон Маск и Стив Возняк обратились с открытым письмом с предложением приостановить развитие программ ИИ. Их обращение поддержали более тысячи предпринимателей и экспертов в отрасли[2].
Анализ проблемы
Ряд исследователей, цитируемых Wired, классифицировал галлюцинации ИИ как многомерное статистическое явление, либо объясняли галлюцинации недостаточностью данных для обучения.
Часть исследователей считают, что некоторые «неправильные» ответы ИИ, классифицируемые людьми в случае обнаружения странностей как «галлюцинации», на самом деле могут быть объяснены данными обучения и даже тем, что ИИ может давать «правильный» ответ, который рецензенты-люди не видят.
В качестве примера приводилось точечное изображение, выглядящее для человека как обычное изображение собаки. Но на котором ИИ может обнаружить крошечные узоры, которые (на аутентичных изображениях) появляются только при просмотре кошки. Таким образом, ИИ, в зависимости от настроек своей внутренней логики и использованных входных данных обучения, обнаруживает и обращает внимание на те визуальные образы реального мира, к которым люди нечувствительны[7]. Однако эти выводы были оспорены другими исследователями[8].
