ИИ как угроза человечеству?

ИИ как угроза человечеству?

Слишком много этого нарратива стало в медиапространстве, и если со стороны научного и технологического сообщества, идеи несут под собой обеспечение, тогда как «вой от непосвященных» отдает традиционным потоком идиотизма. Много глупостей можно прочитать, но в основном все смотрят не туда.

Предложу свою нестандартную гипотезу.

Угроза от ИИ заключается в том, что темпы и масштаб нейро-когнитивного воздействия будут настолько огромными, что человечество потеряет способность к осмыслению и управлению информационными потоками, где воздействие ИИ будет всеобъемлющим, а логику и вектора генерации информационного потока и принятие решений на основе информации человечество не сможет адекватно «перерабатывать».

Люди не только не будут успевать за действиями алгоритмов, но и не будут понимать мотивы, причины, факторы и характеристики вновь созданных процессов, спровоцированных действиями ИИ прямо или косвенно, что приведет к управленческому параличу и накоплению критических ошибок.

▪️Зависимость становится труднее обратить. Если организация или человек сокращает собственную экспертизу и мыслительные операции, перестает воспроизводить собственные офлайн-навыки, в то время как перестраивает процессы вокруг алгоритмов, возможность отказаться от них постепенно сужается, чтонеизбежно приводит к зависимости от ИИ-технологий как базового инструмента принятия решения. Другими словами, без ИИ человечество утратит способность мыслить и действовать самостоятельно – тактическое отупение.

▪️Управленческий паралич. Увеличение скорости обработки информации идет кратно быстрее способности эту информацию осмыслять, что приводит к потере способности понимать фундаментальные характеристики процессов, графы зависимостей и причинно-следственные связи, утрачивая способность оценивать, куда ведут те или иные действия. Это приводит к стратегическому отупению – невозможности понимать причины и вектора возникающих процессов.

Паралич проявится позже, когда потребуется пересмотреть основания работы, локализовать накопленные ошибки или выйти из неудачной траектории. Чтобы изменить траекторию, нужно понимать причины и уязвимости, структурные дисбалансы и моменты фазовых переходов, но в отсутствие понимания происходящего отсутствует потенциал к развитию навыков кризисного противодействия, что усиливает хрупкость системы.

▪️Накопление ошибок становится скрытым, а их последствия – связанными. Ошибочный вывод может попасть в отчет, из отчета – в план, из плана – в систему принятия решений. Следующая система будет воспринимать его как исходную реальность. В таком сценарии опасен не только процент ошибок, но и число зависимых от ИИ решений, глубина их распространения и задержка обнаружения. Чтобы понять и оценить дисбалансы, нужно обладать экспертностью, что будет отсутствовать у человечества.

▪️Утрата операционного контроля. Не имеет значения, кто занимает место оператора системы – человек или ИИ-агент. Сначала машина производит информацию, затем отбирает значимую, систематизирует и объясняет ее, предлагает решение и оценивает результат.

Если эти функции (от сбора информации до итоговых отчетов и плана принятия решений) замыкаются на зависимых друг от друга системах, проверка перестает быть независимой. Человек формально сохраняет последнее слово, но содержание этого слова уже подготовлено внутри того же алгоритмического контура. Тот самый оператор системы, который должен контролировать ИИ, будет сам опираться на решения ИИ, это и есть вход в матрицу.

▪️Ну и главный риск. Несовместимость скорости обработки информации и когнитивной глубины. Уже скоро наступит момент, когда человечество утратит способность перерабатывать и осмыслять нейрослоп с одной стороны (генерация ускоряется по экспоненте, а способность к проверке и осмыслению обвально снижается, как из-за отупения общества, так и из-за пределов способности обработки информации) и потеряет способность понимать первопричину выработки траектории системы принятия решений от ИИ, утрачивая контроль над всей цепочкой кристаллизации операционного и стратегического плана.

Люди не будут понимать, как было получено какое-либо решение – по сути, когнитивная DDoS-атака.

Когнитивная DDoS-атака

В продолжении материала…

Сейчас наступает момент не только «передоза» сгенерированного контента (практически весь медиа контент, новости, блоги, статьи) в потребительской среде, но и «передоз», если так можно сказать, сгенерированного инженерного, профессионального или научного контента в бизнес среде.

Скорость генерации так высока, что значительно превышает теоретические пределы биологических организмов усваивать и «переваривать» весь этот контент.

Это создает когнитивную перегрузку, которая на управленческом уровне приводит к генерации ошибок и дисбалансов. Эффект «взрыва мозга».

Тот самый «взрыв мозга» наслаивается на эффект «черного ящика», когда люди не смогут воспроизвести цепочку создания логических связей для системы принятия решения, полагаясь на готовые ответы и решения ИИ-агентов.

Это как «решать» сканворды по готовым ответам или «отвечать» на экзаменах, зная полный список ответов. Вроде бы ответил, а как получен ответ? Никто не знает.

Все это рождает новый эффект безусловного отупения, вплоть до момента, когда люди потеряют способность понимать язык LLMs, т.е. мотивы, факторы и процессы сгенерированных результатов останутся не подсвеченными.

Даже сохранение высококвалифицированных специалистов не гарантирует управляемость (неизбежный тренд потери экспертности), если их знания разобщены (неспособность работать в многомерных пространствах и отсутствие междисциплинарного взаимодействия), доступ к исходным данным ограничен (многие даже не смогут без ИИ воспроизвести процесс получения сырых данных), а возможности вмешательства (не понимания внутренних процессов «черных ящиков» не соответствуют масштабу автоматизированных решений (когда ИИ-агентам делегируют едва ли не все массовые решения и процессы решения бизнес задач).

Локальная компетентность может сочетаться с глобальной неуправляемостью: каждый понимает свой участок, но система независимых проверок и координации уже не охватывает критические взаимосвязи.

К чему это приведет? Очевидно – к управленческому (невозможность оперативно вмешаться в процесс, найти ошибку и изменить траекторию бизнес операций) и исследовательскому (невозможность грамотно сформулировать, поставить и проконтролировать задачу) параличу.

▪️ Как работает сложная система? Скрытые зависимости, переплетение компонентов, неявные обратные связи и изменения внешней среды повышают сложность сопровождения. Последующая проверка требует восстановить уже не отдельное решение, а историю построенной вокруг него системы, но невозможно эффективно воссоздать архитектуру проекта в «черном ящике».

Здесь эту логику можно расширить до долга понимания –разрыва между объемом внедренных возможностей и способностью обосновать границы их безопасного, эффективно и рационального применения.

Допустим, рекомендация ИИ принимается по умолчанию, тогда как для ее отклонения сотрудник должен представить альтернативный расчет (обладать подлинной экспертностью, но откуда ее взять?), восстановить источники и объяснить расхождение. Согласие становится дешевым административным действием, а несогласие – отдельным исследовательским проектом (нет ресурсов и компетенций для воспроизводства исследовательской или аналитической цепочки).

▪️ Более глубокая зависимость возникает не тогда, когда ИИ предлагает решение, а когда он определяет, что считать проблемой, какие факторы включить в анализ, какие альтернативы признать реалистичными и по каким критериям сравнивать результаты. Человеку остается выбирать внутри уже сформированной системы координат.

▪️Качество замещается скоростью. Не все опасные последствия возникают из-за галлюцинаций и технических сбоев. Если качество работы измеряется скоростью закрытия задач, количеством подготовленных документов или вовлеченностью пользователя, улучшение этих показателей не обязательно означает улучшение содержательного результата. Например, сокращение времени рассмотрения обращения можно получить как за счет устранения лишних операций, так и за счет отказа от анализа сложных обстоятельств. Ошибка может находиться не в исполнении, а в определении успеха.

Автоматизация исполнения растет быстрее независимости проверки, сохранения компетенций и возможности безопасного вмешательства. Именно это соотношение, а не объем нейрослопа сам по себе, определяет степень угрозы.

▪️ Первое поколение пользователей ИИ может опираться на знания и опыт, приобретенные до массового делегирования задач. Они способны распознать слабое решение именно потому, что раньше самостоятельно проходили весь путь его получения. Сегодняшняя эффективность частично обеспечивается запасом компетенций, который организация расходует, но перестает пополнять.

Критический порог определяется не скоростью генерации, а временем до необратимых последствий. Человеку необязательно читать каждый документ или понимать каждую внутреннюю операцию модели. Принципиально другое: успевает ли система контроля обнаружить существенное отклонение, установить его источник и вмешаться до того, как последствия выйдут за допустимые пределы.

Ошибка первого порядка – неверное решение. Ошибка второго порядка – разрушение способности установить, что решение неверно, и изменить порядок его принятия.

▪️ Предельный риск – не мир, в котором машина однажды откажется выполнять приказ человека.Это мир, в котором человек уже не способен обоснованно определить, какой приказ необходимо отдать, проверить его последствия и изменить решение до того, как оно станет необратимым.

Проблема проявится в момент, когда потребуется не очередная оптимизация внутри существующих правил, а пересмотр самих правил.

Как видно, я не расписывал мир антиутопии в формате Skynet, исключительно приземленные риски бизнес-применения.

Цифровой коллапс общества

Продолжаю концептуальных анализ актуальных рисков внедрения ИИ. Ранее Ч1 и Ч2.

▪️Утрата оригинальности – вот, где «незадокументированный риск».Человеческие ошибки распределены хаотично и частично гасят друг друга – это диверсифицированный шум. Когда миллионы аналитиков опираются на 3-4 модели с похожими данными и похожей настройкой, ошибка превращается из шума в систематический и повторяемый фактор.

Другими словами, кластеры интерпретации ИИ (LLMs обычно создают относительно предсказуемый градиент ответов в связи с архитектурными особенностями и циклами предобучения и посткалибровки) на основе стационарного корпуса данных создают практически идентичное «понимание картины мира» со всеми встроенными ошибками.

У людей примерно также, но разница в том, что люди создают разнообразие интерпретаций из-за врожденной индивидуальности.

Когда все ошибаются одинаково, используя LLMs, ошибка перестает быть видимой, накапливается и создает системный сбой, который никто не знает, как исправить, потому что не знают принципы работы «черного ящика», не хотят знать и утратили компетентность или не приобрели экспертность для того, чтобы реконструировать весь длительный, сложный и многомерный исследовательский или бизнес-процесс.

При массовом следовании одинаковым рекомендациям может исчезнуть независимый опыт.

▪️Процикличный интеллект. Модель обучена на прошлом, т.е. на норме. LLMs сильнее всего там, где мир повторяется, и слабее всего там, где он ломается – в точке фазового перехода, за пределами обучающего распределения. Хвосты распределения, где живут кризисы, первыми срезает усреднение, а обучение на сгенерированном контенте срезает их еще сильнее (эффект коллапса моделей – чем больше циклов обучения, тем более сглаженная и усредненная картина мира).

Получается аналог процикличного левериджа: в спокойные времена управляемость растет, в кризис обнуляется – ровно тогда, когда она нужнее всего.

Не буду углубляться, я в прошлом году подробно описывал данные процессы.

ИИ усиливает компетентность в норме и отнимает ее в аномалии, усиливая, а не ослабляя кризисные процессы.

▪️Разрыв конвейера экспертизы. Эксперт не появляется из ниоткуда: он вырастает из из бывшего студента, который становится стажером и годами делал рутину, ошибался и получал обратную связь.

Именно рутину автоматизируют первой (студенты и начальный уровень персонала первый идет под нож), и входные позиции младшего персонала сокращают первыми.

Те эксперты, которые есть сейчас неизбежно деградируют, а новых не появится или появится не в разы, ана порядки меньше. Эксперты, которые понадобятся через 10–15 лет, сегодня никто не выращивает в связи замещением низшего и среднего уровня компетенции алгоритмами и LLMs.

Лаг между решением и последствием – полтора десятилетия, поэтому в статистике сигнал появится, когда исправлять будет поздно. Это также хорошо исследованная тема у меня, но требует дополнительной фиксации.

Сам процесс выращивания эксперта крайне сложный, длительный и дорогой.Подробнее здесь.

Все это будет нести катастрофические последствия через поколение. Износ компетенций не фиксируется нигде, но это уже происходит и усиливается вымыванием эволюционной лестницы приобретения компетенций.

▪️Кризис может возникнуть и без поломки алгоритма. Один агент сокращает закупки из-за сигнала риска. Другой принимает падение заказов за подтверждение ухудшения спроса. Третий ужесточает условия поставок, защищая собственные ресурсы. Каждый действует рационально внутри своей модели, но совместные действия усиливают провал, которого участники стремились избежать.

Для этого не нужны одинаковые модели или общая ошибка в данных. Достаточно взаимных реакций, в которых защитное действие одного ухудшает положение другого. Уязвимость находится не внутри алгоритмов, а между ними. Чем быстрее решения замыкаются друг на друга, тем меньше времени остается на различение внешнего шока и кризиса, который система создает собственной реакцией.

▪️Эффективность отбора может уничтожать условия для открытий. Если ресурсы получают преимущественно проекты с предсказуемым результатом, нестандартные направления, имеющий потенциал, проигрывают до проверки своей перспективности – это известная проблема и среди людей, но более распространенная среди алгоритмов, которые стремятся к детерминированности, исключая неформализованные новые направления, не подкрепленными данными и опытом.

Новое должно доказать полезность до того, как получит возможность сформировать доказательства. Система все лучше выбирает из существующего и все хуже создает то, из чего можно будет выбирать завтра.

Это означает снижение потенциала будущей инновации, как бы парадоксально это ни звучало.

---

Источник: https://t.me/spydell_finance/10160