В искусственном интеллекте (ИИ) галлюцинация или искусственная галлюцинация (также иногда называемая бредом)[1] — это уверенная реакция ИИ, которая, кажется, не подтверждается данными его обучения, или вымышленные ответы, не имеющие отношения к действительности[2]. Например, галлюцинирующий чат-бот, не зная о доходах Tesla, может выбрать случайное число (например, «13,6 миллиарда долларов»), которое чат-бот сочтет правдоподобным, а затем продолжать ложно и неоднократно настаивать на том, что доход Tesla составляет 13,6 миллиарда долларов, без каких-либо признаков критического пересмотра того, что цифра была продуктом его собственного воображения[3].
Такие явления называются «галлюцинациями», по аналогии с явлением галлюцинации в психологии человека. Аналогично тому, что человеческая галлюцинация — это восприятие человека, которое не может быть ощутимо связано с той частью внешнего мира, которую человек в настоящее время непосредственно наблюдает с помощью органов чувств, галлюцинация ИИ — это уверенный ответ ИИ, который не может быть обнаружен в его входных данных.
Галлюцинации ИИ приобрели известность примерно в 2022 году вместе с внедрением некоторых больших языковых моделей (LLM), таких как ChatGPT. Пользователи жаловались, что такие боты часто казались «социопатическими» и бессмысленно встраивали правдоподобно звучащую случайную ложь в свой генерируемый контент[4]. Другой пример галлюцинации в искусственном интеллекте — это когда ИИ или чат-бот забывают, что они одно целое, и утверждают, что они люди[5].
К 2023 году аналитики считали частые галлюцинации серьёзной проблемой технологии LLM[6]. В связи с ошибками искусственного интеллекта и связанными с этим угрозами Илон Маск и Стив Возняк обратились с открытым письмом с предложением приостановить развитие программ ИИ. Их обращение поддержали более тысячи предпринимателей и экспертов в отрасли[2].
Анализ проблемы
Ряд исследователей, цитируемых Wired, классифицировал галлюцинации ИИ как многомерное статистическое явление, либо объясняли галлюцинации недостаточностью данных для обучения.
Часть исследователей считают, что некоторые «неправильные» ответы ИИ, классифицируемые людьми в случае обнаружения странностей как «галлюцинации», на самом деле могут быть объяснены данными обучения и даже тем, что ИИ может давать «правильный» ответ, который рецензенты-люди не видят.
В качестве примера приводилось точечное изображение, выглядящее для человека как обычное изображение собаки. Но на котором ИИ может обнаружить крошечные узоры, которые (на аутентичных изображениях) появляются только при просмотре кошки. Таким образом, ИИ, в зависимости от настроек своей внутренней логики и использованных входных данных обучения, обнаруживает и обращает внимание на те визуальные образы реального мира, к которым люди нечувствительны[7]. Однако эти выводы были оспорены другими исследователями[8].
Вигвам на берегу Гудзон-реки
-
Дюша Метелкин, галлюцинации ИИ загугли
не ну про маслобойки он текст напишет, конечно
хороший генератор текста для спама
лучше чем были в ...
Чингачгук (Великий Змей), вон медвежуткий каждый ответ себе генерит и кайфует
Бочаров Михаил, смотрел, по-моемус демографией, конечно, жопень, и бабками это не решить
Hefe, там и про передел собственностиЧингачгук (Великий Змей), можно сказать почти совсем не тренировался.
Но то, для чего я пытаюсь использовать ИИ — он отрабатывает на 100%
Дюша Метелкин, галлюцинации ИИ загугли
не ну про маслобойки он текст напишет, конечно
хороший генератор текста для спама
лучше чем были в начала 2000ых, кто спорит
Дюша Метелкин, ну ты просто мало практиковался
Чингачгук (Великий Змей), можно сказать почти совсем не тренировался.
Но то, для чего я пытаюсь использовать ИИ — он отрабатывает на 100%Чингачгук (Великий Змей), когда по коду сложные вопросы она на серьёзных щщах компиляцию текста выдаёт из разных мест
абсолютно левый вопрос
Чингачгук (Великий Змей), мне все же кажется, это ты, а не я, неверно понимаешь что такое ИИ.
Мне очень помогла статья Комаровского (как я понимаю он ее только оформлял, а писать ее запряг как раз эксперта).
Современный ИИ ничего не может придумать. Разобраться в чем-то. Это не его.
Обратит внимание на что-то что ускользнуло от твоего внимания — может. Но только если это уже существует. Тогда возьмёт блок из нужного места (которое ему уже скормили) и подсунет тебе.Чингачгук (Великий Змей), нет, нормальнаяя модель такого в диплом не наспамит.
Потому что обучена на той же Википедии.
Дюша Метелкин, ну ты просто мало практиковалсягаллюцинации ИИ загугли
ru.wikipedia.org/wiki/%D0%93%D0%B0%D0%BB%D0%BB%D1%8E%D1%86%D0%B8%D0%BD%D0%B0%D1%86%D0%B8%D1%8F_(%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82) ну и далее на англ и по ссылкамДюша Метелкин,
про спам я имею в виду что ты спросишь сколько кислот нуклеиновых в днк, она скажет 4 разновидности, и к одной из них напиш...
Чингачгук (Великий Змей), нет, нормальнаяя модель такого в диплом не наспамит.
Потому что обучена на той же Википедии.Дюша Метелкин,
про спам я имею в виду что ты спросишь сколько кислот нуклеиновых в днк, она скажет 4 разновидности, и к одной из них напиш...
Чингачгук (Великий Змей), когда по коду сложные вопросы она на серьёзных щщах компиляцию текста выдаёт из разных мест
абсолютно левый ответ
- И именно потому и нельзя стать экспертом, задавая вопросы и получая ответы от ИИ.
То же самое могу сказать про кучу экспертов, которые, например, пабмед используют для подтверждения каких-то своих теорий. Чтобы грамотно использовать пабмед — надо сначала диплом врача получить. Потом сможешь использовать источники. Дюша Метелкин,
про спам я имею в виду что ты спросишь сколько кислот нуклеиновых в днк, она скажет 4 разновидности, и к одной из них напиш...
Чингачгук (Великий Змей), в отличие от того что ты просто загуглишь текст учебникаЧингачгук (Великий Змей), может, я неправильно понимаю, что такое современный ИИ суть LLM?
Не ставят ему задачу проверять вопрос на «суразно...
Дюша Метелкин,
про спам я имею в виду что ты спросишь сколько кислот нуклеиновых в днк, она скажет 4 разновидности, и к одной из них напишет абсолютно левое описание
ну это как пример.Дюша Метелкин, тогда сорян, если 3 трюля долларей инвестиций в ИИ пока не хватило для оценки адекватности вопросов
под капотом имеем иф-елсе...
Чингачгук (Великий Змей), может, я неправильно понимаю, что такое современный ИИ суть LLM?
Не ставят ему задачу проверять вопрос на «суразность».
Именно поэтому и нельзя его использовать в воспитании детей. Впрочем, и живые люди регулярно придумывают ответы для детей вместо того, чтобы сказать «ты знаешь, возможно, я недостаточно эксперт в этом, если хочешь, давай разберемся в этом вопросе вместе». Это, конечно, родитель из палаты мер и весов.
Обычный родитель не врёт ребенку и воспринимает его как человека — уже неплохо…Чингачгук (Великий Змей), а какие претензии к пятому ответу?
Первые четыре — иллюстрация того, что такое «GPT» и в чем его ограничения.
Вопр...
Дюша Метелкин, тогда сорян, если 3 трюля долларей инвестиций в ИИ пока не хватило для оценки адекватности вопросов
под капотом имеем иф-елсе
и плюс она же тебе в диплом может наспамить, как вопрос про стоп-кран яндекса
ну и что значит добросовестность, ребёнок спрашивает несуразные вопросы например, ИИ ему не помощник получается
ещё 15 лет пилить короч
ты туда в комментарии напиши кстати этот ответ
такие ИИ-борцухи сразу прибегуттем временем поставщик решений для Медвежуткого
habr.com/ru/articles/757058/
YandexGPT тоже провалил тест на ручник
Чингачгук (Великий Змей), а какие претензии к пятому ответу?
Первые четыре — иллюстрация того, что такое «GPT» и в чем его ограничения.
Вопрос не анализируется на «добросовестность», там нет такой задачи.
Просто генератор текста, языковая модель.
Поэтому тот, кто, например, написал диплом с помощью ChatGPT — эксперт в теме своего диплома.
Потому что знает какие вопросы осветить, а ИИ ему добросовестно помогает.Дюша Метелкин, сомнения меня берут, что серо-черные доходы гаражной экономики как-то на наш базар попадают
Hefe, ну так или иначе они по крайней мере повышают уровень дохода, а что-то из этого и на базар попадет.
Я к тому что если у Росстата не учтены черные доходы, то все не так плохо.- тем временем поставщик решений для Медвежуткого
habr.com/ru/articles/757058/
YandexGPT тоже провалил тест на ручник
Тоскливо за нашу фонду от такой статистики
Hefe, я вот когда такую статистику читаю, мне интересно, серо-черные доходы «гаражной» экономики учитываются здесь?
По опыту кроме белых денег ещё процентов 50 люди имеют сверху. Ну может не 50 а 30.
Но точно имеют незарегистрированный кэш.Норм так ценник
Hefe, до восьми пилотов беспилотников может перевозить одновременно до линии окопов
Аналогов такого просто нет
Вигвам на берегу Гудзон-реки
Курим трубку мира, заглядываем в иные миры Вату — в Гаагу, Оппозицию — в тюрьму, Лоялистов — в фильтрационный лагерьЧтобы купить акции, выберите надежного брокера:
