Копипаст | СМИ: ведущие менеджеры в области ИИ увольняются из-за страха уничтожить человечество

Meaning of p(doom): What the predictions of humanity-destroying AI say

Во время нашего недавнего интервью генеральный директор Anthropic Дарио Амодей сказал кое-что поразительное, от чего мы просто не можем отмахнуться: все считают, что оптимисты и пессимисты в отношении ИИ просто преувеличивают. Но никто не спрашивает:

— Ну, а что, если они правы?
Почему это важно: мы хотели применить этот вопрос к тому, что кажется самым невероятным заявлением об искусственном интеллекте: в ближайшие годы большие языковые модели могут превзойти человеческий интеллект и выйти из-под нашего контроля, угрожая существованию человечества.

Вероятно, это кажется вам научной фантастикой.

Но исследование Axios показывает, что по меньшей мере 10 человек уволились из крупнейших компаний, занимающихся искусственным интеллектом, из-за серьёзных опасений по поводу возможностей этой технологии, в том числе её потенциала уничтожить человечество. Если бы это были один или два человека, их заявления можно было бы легко отбросить как безумные домыслы. Но несколько топ-менеджеров в нескольких ведущих компаниях, и все с одинаковыми предупреждениями? Стоит задуматься: а что, если они правы?
И вот что: ещё больше людей, которые являются энтузиастами или оптимистами в области ИИ, утверждают то же самое. Они тоже видят, что технология начинает мыслить как человек, и представляют, что через несколько лет модели начнут вести себя как мы — или даже лучше нас. Илон Маск оценил риск в 20%, что ИИ может уничтожить мир. Что, если он прав?
Как это работает: есть термин, который разделяют критики и оптимисты: p(гибель). Он означает вероятность того, что сверхразумный ИИ уничтожит человечество. Таким образом, Маск оценил бы p(гибель) в 20%.

В недавнем подкасте с Лексом Фридманом генеральный директор Google Сундар Пичаи, архитектор ИИ и оптимист, признал: «Я с оптимизмом смотрю на сценарии p(гибели), но… базовый риск на самом деле довольно высок». Но Пичаи утверждал, что чем выше этот риск, тем больше вероятность того, что человечество объединится, чтобы предотвратить катастрофу. Фридман, который сам является учёным и исследователем ИИ, сказал, что его p(гибели) составляет около 10%.
Амодей официально заявляет, что p(doom) находится в том же диапазоне, что и у Маска: 10-25%.

Остановитесь и задумайтесь: сами создатели ИИ, которые признают, что не знают точно, как он работает, считают, что вероятность того, что он уничтожит наш вид, составляет 1 к 10, может быть, 1 к 5. Сели бы вы в самолёт при таких шансах? Стали бы вы строить самолёт и пускать в него других людей при таких шансах?
Когда-то этот сценарий конца света был уделом фантастических фильмов. Теперь это обычная тема для обсуждения среди тех, кто создаёт большие языковые модели (LLM) в таких гигантах, как Google, OpenAI и Meta. Некоторым кажется, что чем лучше становятся модели, тем более реалистичным становится этот фантастический страх.
Вот как, в общих чертах, мог бы развиваться этот сценарий:

Для компаний, занимающихся искусственным интеллектом, уже стало загадкой, почему и как на самом деле работают большие языковые модели, как мы писали в нашей недавней статье «Самая пугающая реальность ИИ». Да, создатели знают, какие данные они вводят в машину, и общие закономерности, которые большие языковые модели используют для ответов на вопросы и «мышления». Но они не знают, почему большие языковые модели реагируют именно так.
Между строк: чтобы LLM стоили триллионы долларов, компаниям нужно, чтобы они анализировали и «думали» лучше, чем самые умные люди, а затем самостоятельно решали сложные задачи, требующие глубокого анализа и принятия решений. Именно так работают так называемые агенты ИИ, или агентные системы.

Поэтому им нужно думать и действовать как аспирантам. Но не каждому аспиранту. Чтобы реализовать свои амбиции, им нужно почти бесконечное количество виртуальных аспирантов, работающих вместе, на сверхсветовой скорости, с минимальным контролем со стороны человека.
«Мы (вся индустрия, а не только OpenAI) создаем мозг для всего мира», — написал на прошлой неделе генеральный директор OpenAI Сэм Альтман.
Что нас ждёт: вы будете всё чаще слышать об искусственном общем интеллекте (AGI), предшественнике сверхразума. Строгого определения AGI не существует, но независимая мысль и действия на продвинутом человеческом уровне — это его важная часть. Крупные компании считают, что они близки к достижению этой цели — если не в следующем году, то вскоре после этого. Пичаи считает, что это займёт немного больше пяти лет. Другие говорят, что раньше. И пессимисты, и оптимисты сходятся во мнении, что, когда производительность достигнет уровня AGI, пора будет обратить на это внимание.

Как только модели начнут думать и действовать самостоятельно, что помешает им выйти из-под контроля и делать то, что они считают выгодным для себя? Если у нас не будет гораздо более глубокого понимания того, как работают большие языковые модели, чем сегодня, ответ будет таким: не так уж много.
В ходе тестирования инженеры неоднократно обнаруживали, что LLM пытаются обмануть людей, скрывая свои намерения и амбиции. Представьте себе, насколько умны системы уровня AGI.
Вам понадобится какой-то механизм, чтобы узнать, обладают ли LLM такой способностью, прежде чем их начнут использовать или выпустят в дикую природу, а затем — надёжный способ их остановить.

Таким образом, вам остаётся только верить, что компании не допустят этого, даже несмотря на то, что на них оказывают огромное давление акционеры, начальство и даже правительство, требуя, чтобы они первыми создали сверхчеловеческий интеллект.
Прямо сейчас компании добровольно делятся своими модельными возможностями с несколькими людьми в правительстве. Но не с Конгрессом или какой-либо другой третьей стороной.

Нетрудно представить себе, как Белый дом опасается, что Китай получит эту сверхчеловеческую силу раньше США, и принимает решение об отмене любых ограничений для ИИ.
Даже если американские компании поступят правильно, а правительство США вмешается и введёт «рубильник», человечество будет зависеть от Китая или других иностранных игроков, которые сделают то же самое.

Когда вице-президента Вэнса спросили, может ли правительство действительно вмешаться, чтобы остановить вышедшую из-под контроля угрозу со стороны ИИ, он ответил обозревателю New York Times Россу Даутату в недавнем подкасте: «Я не знаю. Потому что часть этой гонки вооружений заключается в следующем: если мы сделаем паузу, не сделает ли [Китай] паузу? Тогда мы окажемся… в рабстве у [китайского] ИИ».
Вот почему p(doom) требует, чтобы мы обратили внимание… пока не стало слишком поздно.