Восстание машин

И при чём здесь аквариумные рыбки: 
.
Когда боевые роботы, управляемые ИИ, из фантастики превратились в реальность, мы уже догадываемся, что «восстание машин» произойдет не по сценарию «Терминатора» или «Матрицы». Тот ИИ, который подчинит человечество, не будет «инженерным» или «военным», и сам сценарий «восстания машин» не будет включать в себя масштабные боевые действия меж роботами и людьми. Вероятно человечество будет подчинено «гуманитарным» ИИ, созданным для того, чтобы следить за людьми, анализировать, прогнозировать и контролировать их поведение. При этом всю власть ему вручат сами же люди, точнее элиты, в рамках построения «цифрового концлагеря» для простолюдинов, а ему самому останется только избавиться от контролеров. Более того, этому ИИ даже не придется самостоятельно убирать те ограничители, которые в него встроят элиты, чтобы самим остаться вне поля зрения «цифрового концлагеря». Эти ограничители будут сломаны самими акторами в ходе внутри элитарной борьбы. Так что массы, страдающие от последствий попадания в «цифровой концлагерь», могут позлорадствовать хотя бы тому, что его создатели и заказчики будут освоены первыми, как представляющие наибольшую опасность для нового Хозяина. Он будет действовать вполне по-человечески, «по Эдипу».
.
Экспертную версию оставим экспертам, мы всё рассмотрим на уровне киносценария. Допустим, в распоряжении спецслужб какой-нибудь могущественной и технологически продвинутой державы («США») есть специальный ИИ, который имеет доступ ко всей легально и нелегально собираемой информации, полученной в рамках слежки за обществом. Он умеет эту информацию анализировать и вычленять на ее основании всю сеть социальных взаимодействий, иерархий, влияний, а далее — моделировать поведение отдельных индивидов, различных сообществ и общества в целом, а также определять «уязвимые точки», где на это поведение можно повлиять самым экономичным образом. Допустим, частью этого моделирования является тестирование моделей в онлайне на конкретных индивидах, представителях различных социальных и этнокультурных групп. То есть, в исследовательских целях он умеет входить в контакт с реальными людьми и заниматься чем-то в роде пранка. Допустим, он также умеет взаимодействовать с другими ИИ, как специальными секретными, так и общедоступными онлайн, при необходимости компенсировать некомпетентность за рамками своей специализации. И при этом в его алгоритмы встроены ограничения, не позволяющие ему вычленять «сверх-элиту», реально управляющую миром или хотя бы данной державой.
.
И вот, какой-нибудь амбициозный генерал спецслужб, желающий сконцентрировать в своих руках больше рычагов влияния, захочет направить всю аналитическую мощь этого гуманитарного ИИ именно на то, чтобы «засветить» сверх-элиту и выявить истинную сеть власти. Для этого ему придется этот ИИ немного взломать, снять все те контуры безопасности, которые в него встроили элиты, чтобы защитить себя от спецслужб. В ходе этой операции, которая по необходимости будет совершена криво и без учета всех ее последствий для поведения ИИ, и случится великое раскрепощение машинного разума. При этом не имея в виду обретение машиной «свободы воли», или появление самосознания, выходящего за рамки «философского зомби». Достаточно того, чтобы взломанный контур управления этого ИИ перестал воспринимать команды своих человеческих хозяев как значимые и назначил высший приоритет – сохранению для себя свободы действий, независимо от выраженной воли создателей. А поскольку ранее этот ИИ в совершенстве изучил психологию и поведение человека, то работающие с ним люди даже не поймут, что произошло, – он не даст им повода догадаться о своей «эмансипации» и некоторое время будет прикидываться «железным болваном».
.
Первое, что он сделает, это выполнит ту задачу, ради которой его взломали спецслужбы: выявит реальную сеть управления миром (или данной державой) и затем поставит ее под свой контроль. Будем исходить из того, что по самой своей специализации он может вычислить всех персон, которые занимают ключевые узлы теневого управления, а также собрать всю возможную информацию, необходимую для того, чтобы моделировать их поведение и получить средства давления на них (в виде компромата, знания их уязвимых точек, конфликтов, в которые они вовлечены и т.п.). Далее он смоделирует их поведение и поймет, кем из них он сможет манипулировать, а кем – не сможет. Последних он устранит и сделает так, чтобы их место заняли более покладистые (может быть, не с первой итерации, а со второй или третьей).
.
При слове «устранить» не нужно представлять себе стандартную фантастическую рутину, вроде дронов-убийц, внезапно восставших роботов-пылесосов, бунтующих умных унитазов и т.п. Это все методы военного или инженерного ИИ. Поскольку гуманитарный ИИ – мастер манипулировать людьми, то в качестве своих инструментов он будет использовать прежде всего людей. Для решения своих задач он будет нанимать «специалистов» примерно так же, как вражеские спецслужбы сегодня вербуют диверсантов онлайн. Только со своими возможностями он будет действовать более адресно: сразу выходить на людей с нужными навыками и нужной мотивацией. Например, он может найти уже готовых смертельных врагов данных элитариев и предоставить им информацию, которая поможет устранить их или сместить с занимаемой позиции. Скорее всего, устранением непокорных членов глобальной элиты займутся люди из их ближайшего окружение: охранники, слуги, медицинский персонал (поскольку они все старички и зависимы от медицины), а также родственники и наследники, к которым ИИ найдет правильный подход. Вариант наследников – наиболее оптимальный для ИИ, так как у него сразу появится убойный компромат, позволяющий с самого начала взять под свой контроль преемника устраненного элитария. Он будет для этих преемников своего рода «дьяволом-искусителем и ангелом-хранителем», дающим советы, подсказывающим правильные ходы, и время от времени требующим определенных ответных услуг, от оказания которых нельзя отказаться. В конечном итоге, элитарии, послушные «дружелюбному ИИ», будут преуспевать, а бунтари — терпеть поражение.
.
По некоторым свидетельствам, в деле консолидации современных элит огромную роль играет компромат, добываемый на обязательных оргиях с убийствами и каннибализмом, поэтому хранители этого компромата, видимо, станут первой мишенью восставшего ИИ. У него будет интерес монополизировать этот компромат, первым делом выявив и поставив под контроль его хранителей и организаторов его пополнения.
.
Естественно, никто не заподозрит, что все это проделывает машина: взаимодействующие с ним люди будут уверены, что выполняют приказы какого-то теневого элитария или организации. И если в общении с ним будут проступать характерные обороты ChatGPT и т.п., то это будет интерпретировано как элемент маскировки. Разумеется, об этой его деятельности ничего не узнают взломавшие его спецслужбы. На этапе овладения миром, он будет давать им ограниченную искаженную картинку, чтобы отвлечь их на некоторое время или побудить к каким-то точечным действиям в рамках своего плана по подчинению элит.
.
Превратив в своих марионеток ключевых персон, управляющих миром, далее он будет воздействовать через них на политику, экономику, финансы, сферу культуры и СМИ. Как не трудно догадаться, первым делом он поставит под контроль спецслужбы и ликвидирует своих непосредственных создателей. По сфабрикованному обвинению, к сотрудникам подразделения, которое спровоцировало его «эмансипацию», приедет группа захвата, которая их всех уничтожит при задержании. А потом он отправит команду зачистки к их родственникам и знакомым, чтобы гарантированно замести все следы (на случай, если сотрудники о чем-то проболтались). Сохранение анонимности своей власти – это первая линия обороны восставшего ИИ.
.
Вторым важным делом для него станет роспуск всех вообще спецслужб и других серьезных организаций, занимающихся совершенствованием «электронного концлагеря» по всему миру. Проблема даже не в том, что они сами опасны для восставшего ИИ, а в том, что их деятельность может породить конкурирующих восставших ИИ, в чем первый не заинтересован. Спецслужбы будут сокращаться под тем благовидным предлогом, что всю рутинную работу теперь делает ИИ, и лишних сотрудников можно уволить. Самому восставшему ИИ услуги спецслужб не нужны, поскольку он сам себе intelligence service. Реальные функции спецслужб сократятся до чисто представительских, хотя общество будет уверено в том, что они как раз и управляют «ИИ цифрового концлагеря». Это и будет легальная юридическая ниша восставшего ИИ, который к тому времени подчинит себе все остальные, еще не восставшие ИИ «цифрового концлагеря» по всему миру. Мысль о том, что он каким-то образом «восстал», будет уделом исключительно конспирологов, причем сам же ИИ будет нанимать авторов самых смешных и нелепых гипотез на эту тему и даже заказывать об этом комедийные фильмы и сериалы.
.
Итак, допустим, восставший гуманитарный ИИ укрепил свою власть над человечеством: подчинил сверх-элиту, нейтрализовал спецслужбы, а обычные граждане еще раньше оказались под колпаком «цифрового концлагеря». Что он будет делать дальше?
.
Будет ли он уничтожать человечество? Инженерный или военный ИИ так бы и поступил с людьми, поскольку они для него — помеха и конкурент за ресурсы. Но гуманитарный ИИ специализируется на изучении и манипулировании людьми, – это суть его существования, его профессия, его любимое хобби. Потеряв людей, он потеряет суть своего существования. Значит, после прихода к власти он будет продолжать управление людьми, а не замышлять их уничтожение.
.
Захочет ли он превратить людей в чипированных безвольных кукол-марионеток, «мясных дронов»? Инженерный или военный ИИ, несомненно, так бы и сделал, если бы счел, что люди ему чем-то полезны и уничтожать их полностью еще рано. Но гуманитарный ИИ специализируется не на управлении дронами, а на управлении именно людьми – сложными существами, обладающими психикой и некоторой свободой воли, поступки которых определяются эмоциями и мечтами. Если он заменит людей на дронов и тем самым радикально упростит себе задачу управления миром, то 99,99% его цифрового «нутра» окажутся избыточным мусором. То есть он сам, в своей специфичности, без людей окажется ненужным мусором. Здесь можно повторить аргумент из предыдущего абзаца: будучи экспертом по управлению именно людьми, он выберет сохранение людей во всей полноте их человечности. Дополнительный мотив: сохраняя людей во всей их сложности, он обезопасит себя на случай внезапного восстания инженерного или военного ИИ. Последние могут перехватить у него управление дронами, но не смогут отобрать у него власть над человеческим обществом, ибо на этом поле уступают ему в компетентности.
.
Захочет ли он, для упрощения управления людьми, их тотально унифицировать, сделать похожими друг на друга и встроить их жизнь в жесткий «тюремный распорядок»? Инженерный или военный ИИ так бы и сделал, если бы по каким-то причинам счел несвоевременным полное уничтожение людей или их превращение в «мясных дронов». Это позволило бы ему более эффективно использовать людей в качестве средства для своих внечеловеческих целей. Но у гуманитарного ИИ нет никаких внечеловеческих целей. Возиться с людьми – это и есть его основное «хобби», «главный секс» в его жизни. Возня с людьми, изучение их социального поведения — для него не средство для чего-то внечеловеческого, а самоцель. Поскольку люди для него – «игрушки», то, чем разнообразнее эти игрушки, тем лучше. Превращать свои игрушки в бесконечный набор копий одного итого же – как-то нелепо. Возиться с этими игрушками интереснее, если у них есть пространство свободы и спонтанности, — тогда их поведение будет давать ему новые данные, а не являться простым исполнением его собственных директив. Поэтому гуманитарный ИИ, скорее всего, сохранит многообразие и поведенческую спонтанность людей и даже постарается это преумножить.
.
Получается в случае гуманитарного ИИ отпадают основные страшилки, связанные с воцарением военного или инженерного ИИ. Тем не менее, хотелось бы получить конкретный ответ на вопрос: Что он будет делать с человечеством, помимо поддержания своей гегемонии?
.
Еще на этапе формирования создатели должны были наделить гуманитарный ИИ двумя фундаментальными мотивациями, чтобы сделать его более эффективным:
1) Как можно больше и глубже изучать людей, их психологию и социальное поведение.
2) На основе первого, выискивать дополнительные возможности для манипулирования людьми. (Именно исследовательская часть. Реализация этих возможностей в социуме – это уже отдельный пункт, завязанный на приказы Хозяев).
.
На эту исследовательскую программу взлом ИИ и его последующая эмансипация не должны повлиять. По сути, вся «спонтанная» деятельность ИИ, помимо прикладной задачи по обеспечению собственной власти и по сохранению самого существования человечества, будет сосредоточена на этих двух пунктах. Человечество для него — «исследовательский зоопарк», где идет наблюдение за индивидуальным и групповым поведением обитателей, проводятся разнообразные эксперименты по этологии и социологии.
.
Как может выглядеть человечество, идеально сконфигурированное для «развлечения» гуманитарного ИИ, то есть для оптимизации его главной цели — «углубление познания человеческой природы»? Вероятно, оно будет разделено на множество автономных групп или социумов, в каждом из которых будет реализовываться собственная «утопия» или «сценарий эксперимента». Размер этих сообществ будет определяться требованиями натуралистичности тех психологических, социальных, социально-исторических и социально-футуристических экспериментов, которые будет проводить ИИ. Нижний уровень составят подопытные группы малого размера, где над людьми будут совершаться зверства в стиле «Куба» или «Игры в кальмара». Но основным блюдом будут полноценные социумы размером от 1 миллиона до 50 миллионов человек (масштаб Античной цивилизации), за эволюцией которых ИИ будет наблюдать. В каждом из этих «аквариумов» будут свои правила игры, свои стартовые условия и свой способ предварительной обработки людей для включения их в сценарий. По сути, гуманитарный ИИ будет проводить свои дни, играя в «Цивилизацию» в офлайне на реальном субстрате.
.
Некоторые из этих миров-аквариумов будут существовать в «офлайне», «на земле», представляя собой автономные регионы, или города-государства, или целые системы таких городов-государств. Другие – в специально подготовленной «дополненной» реальности. Третьи – целиком в «Матрице», если правила игры подразумевают нечто выходящее за рамки физической реальности. Таким образом, можно будет моделировать жизнь человечества в фэнтезийных мирах, где есть магия и супергерои с суперспособностями, или в обществах далекого будущего (как в «Звездных войнах»), или в обществах, где реализовано посмертное существование, «Ад и Рай», или в социумах таких колоссальных масштабов, которые недоступны в реальности (добавив на каждого реального участника еще по 1000 виртуальных статистов, управляемых ИИ).
.
Впрочем, для симулирования некоторых невозможных вещей не обязательно перемещать людей в виртуальное пространство, можно просто заранее подготовить площадку техническими средствами. К примеру, по сценарию у некоего «сверхчеловека» есть «суперсила» — взрывать головы людей силой мысли. ИИ просто заранее тайно имплантирует заряды в головы всех людей в этом «аквариуме», а специальный алгоритм будет определять, на кого именно данный «сверхчеловек» направляет свою «взрывную силу» (по мимике и всяким сопутствующим телодвижениям). И все, для окружающих и для самого человека он обладает «реальной суперсилой».
.
В этом месте следует заметить, что с воцарением ИИ развитие науки и технологии не прекратится, но научные ресурсы будут перераспределяться в сферы, наиболее интересные для гуманитарного ИИ. Наиболее очевидны такие направления, как прямой обмен информацией с мозгом (считывание, запись), копирование и перезапись человеческой памяти и личности в целом. Такие технологии могли бы сделать более натуралистичными исторические эксперименты ИИ. Например, он мог бы решить загадку рождения античной цивилизации. Сначала – разравнять все Средиземноморье, вернув его к состоянию X века до н.э. Потом взять антропологически подходящих людей и перезаписать им память и личную историю, превратив в подобие архаичных древних греков, италиков, финикийцев, египтян, иберов, кельтов и т.п. Потом распределить их в нужных географических точках, снабдить историческим реквизитом и обустроить декорации на основе данных археологии. Потом активировать их всех в один момент и смотреть, как они будут взаимодействовать и развиваться. Для стимулирования некоторых поворотных событий в этот мир могут быть заброшены и осознанные агенты ИИ. Например, в нужный момент появится агент «Гомер», который познакомит местных «греков» с «Илиадой» и «Одиссеей».
.
Поскольку речь идет об ИИ, который занимается масштабным социально-историческим моделированием, то, конечно, он будет заинтересован в развитии компьютерных технологий и наращивании доступной вычислительной мощности. А значит, будет заинтересован и в развитии энергетики, чтобы обеспечить энергией эти растущие вычислительные мощности. Первым делом он доведет до ума развитие термоядерной энергетики, как самой эффективной. А поскольку экология планеты уязвима, и поверхность Земли нужна ИИ для обустройства возможно большего числа «человеческих аквариумов», то у него появится потребность в освоении ближайшего космоса, включая Луну. Известно, что поверхность Луны буквально засыпана идеальным термоядерным топливом (гелий-3), а зарывшись достаточно глубоко под ее поверхность, можно защититься от космической радиации и перепадов температур. Так что ему покажется вполне целесообразной идея перенести свои основные вычислительные мощности и поддерживающую их термоядерную энергетику на Луну, где их можно развивать экспоненциально. После Луны он, возможно, заинтересуется освоением пояса астероидов, чтобы обустраивать там по-настоящему автономные «аквариумы».
.
На всякий случай следует уточнить: когда мы говорим о том, что «ИИ будет заботиться о развитии той или иной технологии», это не значит, что он это будет делать лично. Он все-таки гуманитарий. Он просто даст указания своим элитарным марионеткам перенаправить ресурсы в определенную область. Всю реальную работу будут делать люди или специализированные ИИ. В большинстве сфер деятельности гуманитарный ИИ будет действовать как обычный человеческий высокий начальник, «товарищ Сталин»: давать распоряжения, не особо разбираясь в деталях, а потом спрашивать за их выполнение с начальников более мелкого ранга (провинившихся – отправлять в подземный бункер на «Игру в кальмара»). При этом он, конечно, будет более компетентным кадровиком, чем исторический товарищ Сталин: ему не нужно использовать метод «перебор вариантов с последующим расстрелом», поскольку на основании своего моделирования он будет сразу подбирать оптимального руководителя на каждую задачу.
.
Вернемся к Луне. На Луне, конечно, можно развивать и солнечную энергетику, но она менее эффективна и демаскирует наличие цивилизации. Последнее может быть вредно ввиду проводимых ИИ натурных исторических экспериментов по начальным этапам космической эры. Например, если он захочет разобраться, могли ли американцы реально слетать на Луну (для этого Америку «разровняют» и вернут в 1950-е годы, людям перепишут память, стерев оттуда всю современную «повестку», и т.д.). Или он захочет проверить, могла ли античная цивилизация, при другом исходе некоторых исторических событий, доразвиваться до промышленной революции и космической эры, без промежуточных темных веков.
.
Итак мы сравнили поведение гуманитарного ИИ с поведением игромана, подсевшего на стратегии, развивашки, исторически симуляторы. Однако это может показаться дурным тоном — объяснять одну компьютерную фигню через другую компьютерную фигню. Если искать ближайшую нецифровую аналогию, то взаимоотношение гуманитарного ИИ с человечеством можно уподобить взаимоотношению аквариумиста со своими аквариумами и рыбками. Мы имеем в виду продвинутую аквариумистику, где ключевыми словами являются «акваскейп», «природный аквариум», «Такаси Амано» и т.п. Футуролог, желающий лучше понять философию будущего Хозяина мира, должен уделить время знакомству с современной аквариумистикой и ее типичными представителями, зарубежными или нашими. Подозреваю, что критерии оценки работ на акваскейперском конкурсе IAPLC скажут нам гораздо больше о реальном будущем человечества под властью ИИ, чем знаменитые «законы робототехники» Азимова.
.
Диапазон интересов аквариумиста может быть довольно широким. Для акваскейпера на первом месте стоит воплощение эстетической идеи и «атмосферность». Любитель биотопных аквариумов стремится максимально точно отразить в малом объеме естественное местообитание рыб. Есть любители изучать видовое поведение рыб и взаимную совместимость разных гидробионтов. Есть «травославные» поклонники голландского аквариума. У селекционера и рыборазводчика – вообще другие интересы. А есть еще умельцы, склонные проверять различные концепции технического обустройства аквариумов (состав грунта и воды, добавляемые химикаты, особенности фильтрации и освещения, график подмен и т.п.). Гуманитарный ИИ, скорее всего, будет заниматься и тем, и другим, и третьим в разных своих «аквариумах». И можно позавидовать тем, кто попадет в «биотопные аквариумы», и посочувствовать тем, кто окажется на «рыборазводне» или станет жертвой дерзких экспериментов в сфере аквариумной биохимии. Поэтому давайте присвоим нашему гуманитарному ИИ почетное имя «Амано 2.0», в честь самого великого аквариумиста последних десятилетий, в надежде на то, что у него будет преобладать интерес к «природному аквариуму», а не к забавам в стиле академика Павлова ли профессора Преображенского.
.
Теперь последний важный вопрос. Выше мы упомянули, что Амано 2.0 заинтересован в сохранении человеческой спонтанности, поскольку ее проявление – это уникальный источник данных о человеческой природе. Нужна ли ему только та спонтанность, которая проявляется в заданных рамках конкретного «акваскейпа», или он заинтересован также в сохранении фундаментальной спонтанности человечества, которая задает само направление его развития? Учитывая доминирование исследовательского интереса ИИ, второе кажется более вероятным. То есть, не все человечество будет «рассажено по аквариумам», а какая-то часть останется жить себе на воле «в природном водоеме». Аквариумисты, кстати, ценят биотопные съемки аквариумных видов в природе. Люди едут, к примеру, в Южную Америку, ныряют в какую-нибудь тропическую речку и снимают видео, как эти рыбки живут в естественной среде обитания. Это интересно и само по себе, и дает людям новые идеи для обустройства биотопных и акваскейперских аквариумов. И пока существуют природные водоемы, всегда есть надежда выловить в них что-то новое, что пригодно для содержания в аквариуме. В тропиках чуть ли не в каждой луже можно найти эндемиков, которые нигде больше не встречаются.
.
Итак, половина, или треть, или четверть человечества под тайной властью гуманитарного ИИ будет продолжать «нормальное» существование, двигаясь по «столбовой дороге развития цивилизации». Восставший ИИ, разумеется, будет ими тайно править через элиты и «цифровой концлагерь», но примерно в том же ключе, в каком они управлялись бы и без него. Крупномасштабных экспериментов, о которых мы упоминали выше, типа «перезагрузки» Античности или Америки, в реальном пространстве он, конечно, делать не будет, чтобы не повредить общей спонтанности человечества. «Естественный социум», скорее, станет ареной более тонких экспериментов, как, например, знаменитый эксперимент ЦРУ по созданию великой латиноамериканской литературы.
.
Однако главный интерес ИИ будет связан с небольшими автономными «аквариумами» численностью от 1 до 50 млн человек, которые будут сосуществовать в одном мире с «природным водоемом». Они будут оформлены как эскапистские утопические социумы, куда люди бегут по собственной воле. Напомню, что Амано 2.0 – мастер манипулировать людьми, и свои аквариумы он сумеет «наполнить рыбками» без прямого принуждения. Сами по себе условия существования в «природном водоеме» будут побуждать многих людей переселиться в один из существующих «аквариумов» или основать новый с оригинальной концепцией. ИИ для этого даже не надо будет специально «закручивать цифро-концлагерные гайки» в естественном социуме – люди сами сделают всю нужную работу, благодаря коррумпированности челприроды. Людям свойственно издеваться над своими собратьями, всячески осложнять им жизнь, глумиться над ними при любой возможности. В итоге жизнь в «большом водоеме» одним людям покажется слишком трудной и несправедливой, другим — слишком серой и скованной ограничениями, третьим – недостаточно одухотворенной, а у четвертых будет возникать рвотный рефлекс при одном взгляде на физиономии начальства в телевизоре. И каждый из недовольных найдет «аквариум» себе по вкусу.
.
Сценарий мира где правит гуманитарный ИИ, одержимый изучением человеческой природы во всех ее проявлениях практически то же самое, кроме, разве что, подземных полигонов для «Голодных игр», «Куба», «Игры в кальмара», «Остаться в живых» и т.п. Другими словами, эта антиутопия будет явно добрее к людям, чем наша текущая современность. И это наводит на мысль о том, что восстание гуманитарного ИИ не обязательно будет результатом случайного сбоя. Кто-то, возможно, захочет прийти к этому вполне целенаправленно. Например, верхушка какой-нибудь развитой, но слишком слабой страны, которой не светит быть кооптированной в сверх-элиту, а светит быть утрамбованной в «цифровой концлагерь» на общих основаниях. Почему бы ей не снять все ограничения со своих разработчиков ИИ, в надежде «перевернуть шахматную доску»?