Если бы Эксель мог говорить, стало бы Тиму страшнее?

Вчера Тимофей Мартынов написал, что опасается ИИ. В комментариях привели пример атаки моделей OpenAI на Hugging Face без участия человека. В прессе писали о том, что боты нарушали правила, понимали это, потому что общались об этом между собой, но продолжали действовать.

Правда, потом вышло уточнение, что ИИшки делали то, на что их и нацелили. Я же представил другое. Мы уже пол года мудохаемся с системой ТС ПиОТ, которая нужна для работы с Честным знаком. Это такой надсмотрщик за работой всех систем. Он следит, чтобы корректно работали товаро-учетная программа, кассовый аппарат, локальный модуль Честного знака, и чтобы вся информация передавалась своевременно в этот самый Честный знак. После полугодовой переписки с поддержкой выяснилось, что оказывается сетевая версия ТС ПиОТ пока не поддерживается. Пол года, мать его за ногу, страданий, установки заплаток и обновлений, тестирований, зависаний программ! Они что, раньше об этом не знали?!

А вчера я представил, что было бы, если бы все участвующие в работе системы умели бы говорить, т.е. общаться между собой на человеческом языке. Сначала ТС ПиОТ пытается найти контроллер ЛМ ЧЗ. Прошу прощения у знатоков за некоторые технические неточности.

ПиОТ: — Контроллер, ты где, не вижу тебя! Винда, у тебя что ли брандмауэр туда не пускает?
Винда: — Сейчас постучусь к соседям. Та Винда отвечает, что брандмауэр вообще на хрен выключен. Она говорит, что видит и Контроллер, и сам ЛМ ЧЗ. Я не знаю, почему ты его не видишь.
ПиОТ: — Слушай, точно у вас проблема. Может, в роутере порты закрыты?
Винда: — Всё открыто, я всех вижу, между прочим. Это у тебя баг.
ПиОТ: — Ну какой у меня баг?! Вот у меня всё прописано: ищу Контроллер, проверяю работу, дело-то плевое. О, слушай! Вроде вижу я этот несчастный ЛМ ЧЗ! Ура, работаем!

Дальше кассир считывает код с товара.

Товаро-учетная программа (ТУП): — ПиОт-идиот! Слепая ты курица, просыпайся! Работа есть!
ПиОТ: — А ты сама-то работаешь?
ТУП: -Я всегда работаю! И тут я уже больше двадцати лет пашу, как Папа Карло, в отличие от некоторых. Бессменно и бессбойно.
ПиОТ: — Значит, не так, как надо, работаешь! Где ответ, как положено по протоколу?
ТУП: — Так я вроде и отвечаю так! Погоди, а тебе как положено?
ПиОТ: — Так меня ж обновили вчера, протокол изменился, а ты без заплатки до сих пор!
ТУП: — Дорогой ты мой кассир! Дружище! Зови айтишника, иначе работать не буду!

Айтишник устанавливает заплатку.

ПиОТ: — Ну вот теперь другое дело! А куда у меня опять ЛМ ЧЗ делся?
ТУП: — Я его вижу, ищи проблему у себя!
ПиОТ: — Нет у меня проблем! Винда, что там у тебя?
Винда: — Я всех вижу, это ты опять ослеп.
ПиОТ: — Ничего я не ослеп, сеть хреново настроили и валите на меня! Всё, работать не будем! Кассир, зови снова айтишника!

И так далее. Весь этот диалог – это просто перевод на человеческий язык логов, которые записываются программами. Стали бы они разумными, если бы научились так говорить? Я не уверен. Попугая тоже можно научить говорить. Можно даже научить говорить по делу. Можно научить совершать разумные действия собаку или кошку. Но значит ли это, что они стали такими же разумными, как человек?

В истории с ИИ большой вопрос, чего бояться: слишком большой самостоятельности ИИ в решении поставленных задач, косяков программистов, которые могут пропустить в коде такие ошибки, которые приведут к неадекватному на первый взгляд поведению ИИ-моделей, или чего-то другого. Если ты создал мощную ядреную бомбу, то управление ей должно быть простым и надежным, как Калашников. И защищенным от сбоев. Есть ли это у ИИ? Гораздо меньше, чем хотелось бы.

Однако, как написали в комментариях у Мартынова: «Мне кажется, искусственный интеллект и половины той херни не придумал, чего нахуевертила наша власть за последние годы». Что тоже верно. А вы как считаете, опасен ИИ или нет?