Будущее войны и автономное вооружение. Ничья армия. Путешествие по миру роботов на поле боя и за ним

Будущее войны и автономное вооружение: Ничья армия

Army of None: Autonomous Weapons and the Future of War · 2018

Пол Шарр Paul Scharre

Настала эра автономного оружия. Сегодня по всему миру по крайней мере тридцать стран имеют оружие, которое может самостоятельно искать и уничтожать вражеские цели.

Пол Шарр, ведущий эксперт в области ведения войны нового поколения, описывает эти и другие высокотехнологичные системы вооружения — от израильского беспилотника Harpy до американского корабля-робота для охоты на подводные лодки — Sea Hunter — и исследует правовые и этические вопросы, связанные с их использованием.

Эта книга — «Умный учебник того, что должно произойти в войне», «Army of None» использует военную историю, глобальную политику и передовые научные достижения, чтобы изучить последствия предоставления оружию свободы принимать решения о жизни и смерти.

Сам бывший солдат, Шарр утверждает, что мы должны использовать технологии, которые могут сделать войну более точной и гуманной, но когда выбор — жизнь или смерть, человеческому сердцу нет замены.

Эта книга — легко читаемое путешествие по миру роботов на поле боя и за его пределами.

Одна из самых интересных книг по военному делу, которую я когда-либо читал.

Обязательно к прочтению для всех, кто интересуется ИИ и будущим войны.

Авторитетный и отрезвляющий взгляд на автоматизированные поля сражений, которые очень скоро станут характеристикой военного конфликта.

В этом всестороннем анализе Шарр выходит за рамки клише« роботов-убийц.

Эта книга, вероятно, станет самой важной книгой по этой теме для широкой аудитории по крайней мере в течение следующего десятилетия.

Универсальный путеводитель по дебатам, вызовам и да, возможностям, которые могут появиться в результате автономной войны.

Трезвый, политически ориентированный учебник о том, что грядет… написанный в интересной и доступной манере.

Эта книга определенно охватывает весь спектр вопросов об автономном оружии, включая информацию из многих отраслей с высоким уровнем риска. Существенно обсуждается аспекты политики управления технологиями.

Послушайте или прочитайте обзор  книги «Ничья армия: автономное вооружение и будущее войны», чтобы понять, насколько смертоносной может быть автономия оружия и какие шаги следует предпринять миру, чтобы достичь безопасности в этой сфере.

4 причины познакомиться с обзором:

• понять, насколько современное вооружение автономно, независимо от

человека;

• развеять страхи о возможном восстании машин;
• ознакомиться с азами работы глубоких нейросетей в ИИ;
• вникнуть в моральный аспект углубляющихся контактов людей и машин.

7 главных мыслей.

1. На каждое преимущество автономии есть соответствующий недостаток.

2. ИИ лишь прибавляет к минусам автономии дополнительные риски: возможность взлома, непостижимость процесса принятия решений, доступность, нечеловеческая скорость развития.

3. ИИ так или иначе будет использоваться в ведении войн, но только человек способен создать машину, превосходящую его самого по интеллекту.

4. На успех/неудачу запретов автономного вооружения влияют три фактора: количество стран, необходимых для устойчивости запрета; осознание чудовищности оружия; понимание потенциальной пользы от запрета. 

5. Критерии успешных договоров — ясность трактовок, мотивация, соблюдение принципа зеркальности, прозрачность.

6. Сегодня никто из ключевых государств-игроков на рынке автономного вооружения и ИИ не выступает с инициативой мирового запрета этих технологий. Предложения о запрете поступают снизу, а не сверху.

7. Если мы не предпримем действия по какому-либо, даже незначительному, ограничению автономии машин, то вместо того, чтобы принести пользу человечеству, машина навредит ему.

Книга «Ничья армия» — это не просто наблюдение за возрастающей независимостью машин от людей.

Это руководство к действию. Машины не могут стать автономными и выбросить человека из процесса принятия решений, если только мы сами им этого не позволим.

Автономию как «когнитивный механизм, приводящий роботов в действие» человек проектирует по своему образу и подобию. Без автономии роботы — это «просто оболочка, ожидающая, пока люди наполнят ее смыслом». Так почему же тогда мы так боимся будущего, которое разворачивается на наших глазах?

Эксперты по робототехнике и искусственному интеллекту (ИИ) и представители неправительственных организаций призывают запретить автономное наступательное оружие в рамках кампании «Остановим роботов-убийц». Среди выступающих такие видные деятели, как Илон Маск, Стив Возняк, Стивен Хокинг. У них нет единого мнения о том, что такое автономия, где она точно будет применяться, а где нет. Однако их объединяет общий пессимизм относительно будущего. 

Идут дискуссии, кипят страсти: одни футурологи предсказывают глобальную гонку ИИ-вооружений, другие желают избежать мрачного сценария из фильма «Терминатор», где система общего искусственного интеллекта «Скайнет» обрела самосознание и решила, что если люди хотят ее уничтожить, то человечество можно спасти лишь через уничтожение всех людей.

Пол Шарр, привлеченный политический аналитик Пентагона, который с 2008 года участвовал во множестве экспертных форумов на тему смертоносной автономии, предлагает нам взглянуть на происходящее более трезво. Он разбивает определение «автономии» на несколько элементов и подкрепляет повествование множеством примеров.

Автор опрашивает специалистов из самых различных сфер, чтобы понять, где автономия уже идет полным ходом и как люди к ней относятся. Он также рассматривает некоторые аспекты ИИ, которые могут применяться или уже применяются для автономизации машин.

Наконец, Полл Шарр дополняет основные законы робототехники своими рекомендациями, предлагает сценарии развития, чтобы будущее, полное технологий и машинной автономии, все равно оставалось нашим будущим.

Предписания для роботов, взаимодействующих с людьми. Разработаны научным фантастом Айзеком Азимовым. Вкратце звучат как: 1. Не навреди человеку. 2. Подчиняйся, но не навреди человеку. 3. Защищай себя, но не навреди и подчиняйся человеку.

(От картечи до ВТО, от робота-пылесоса до израильской «Гарпии»).

История автономного оружия началась в 1861 году во время Гражданской войны в США, когда врач Ричард Гатлинг создал картечницу Гатлинга, предшественницу работавшего от отдачи пулемета.

Она делала более трехсот выстрелов в минуту, а для ее обслуживания требовалось всего четыре человека.

По мнению Гатлинга, таким образом можно было значительно уменьшить количество солдатских смертей. Он ошибся, и скоро опыт его изобретения стал основой для создания еще более смертоносного оружия.

Вторая мировая война, в которой ковровые бомбардировки привели к колоссальному сопутствующему урону, доказала, что мощного оружия недостаточно, — нужно высокоточное оружие (ВТО). Однако при его использовании грань между автоматическим и автономным оружием окончательно размывается. Некоторые ВТО управляются через беспроводную связь, некоторым оператор лишь обозначает цель.

В редких случаях запущенное ВТО уже не остановить вовремя, так как эти типы оружия используют радары, GPS и так далее для самостоятельного нахождения цели после запуска. Тем не менее это все еще машины, программируемые человеком. Тогда что же такое полная автономия и автономное вооружение?

Автономия: три измерения.

Одно из определений автономии: «способность машины выполнять задачу или функцию самостоятельно». 

Выделяют три измерения автономии.

• Первое измерение определяется типом задачи в зависимости от важности, сложности и рисков, связанных с ее использованием.

Холодильник отвечает за хранение продуктов, тогда как Скайнету поручают более важную задачу, связанную с контролем ядерного вооружения.

Подушка безопасности выполняет несложную задачу: надуться при аварии. В то же время самолет, терпящий крушение, в последние минуты перед столкновением переходит в автономный режим, чтобы попытаться выровнять судно, если пилот почему-то не в состоянии выполнить эту задачу.

Если мы передаем управление машине, то нужно быть готовыми к последствиям, даже таким невероятным, как  непреднамеренное срабатывание Машины Судного дня в фильме Кубрика.

В «Доктор Стрейнджлав, или Как я перестал бояться и полюбил бомбу» СССР не успевает объявить о создании этого оружия, главная цель которого — устрашить, и, когда американский самолет из-за неполадки бомбит военную базу СССР, механизм уничтожения всей жизни на Земле срабатывает самостоятельно.

• Второе измерение зависит от совершенства механизма принятия решений (автоматического, автоматизированного, автономного). 

Действия обычного термостата были заданы заранее. Они предсказуемы для любого. Иными словами, он действует автоматически.

Однако при использовании термостата, регулирующего комфортную температуру комнаты, механизм принятия решений сложнее. Теперь машина принимает несколько решений, исходя из набора факторов. Без детального изучения или инструкции вам не понять принципов работы термостата.

Машина автоматизирована. 

Если нас попросят предугадать действия самоуправляемого автомобиля, то мы, вероятно, не сможем этого сделать. Только немногие эксперты понимают, как работает эта машина. Ее действия автономны: цель задана человеком, однако способ ее достижения выбирает сам автомобиль.

• Третье измерение зависит от отношения человека, а точнее оператора к машине. Он может управлять ей в полуавтономном режиме, может находиться над контуром управления (наблюдать) или позволить машине действовать автономно.

Использование робота-пылесоса подразумевает полуавтономное управление, когда человек участвует в процессе принятия решений — в случае если пылесос застрял, хозяин его вытащит и запустит вновь.

В остальное время пылесос работает без ощутимого участия оператора, находящегося над контуром управления. Это можно назвать контролируемой автономией.

Оператор может вовремя вмешаться, отключить автономную опцию и вернуться в контур принятия решений. По принципу контролируемой автономии работает, например, американская корабельная боевая система «Иджис».

Степень автономности машины зависит именно от скорости, с которой оператор может вернуться в контур принятия решений.

Израильская «Гарпия»— барражирующий боеприпас, или так называемый дрон-самоубийца, считается редким примером полной автономии. В отличие от большинства беспилотников, управляемых оператором, он сканирует широкую местность на наличие вражеских радаров, а затем уже самостоятельно/автономно уничтожает цель в одобренной оператором зоне. После отданного человеком приказа и до выполнения задачи машина совершенно автономна.

(Автономия: палка о двух концах ).

Зачем нужна автономия?

Выделяют следующие преимущества автономии:

• меньше аварий (возможно, трагедии на Фукусиме в 2011-м можно было избежать);

• продолжение работы даже после отключения от оператора (важно для наступательных систем вооружения, на которые могут совершить кибер- или электронную атаку);

• увеличение скорости, эффективности (одна из основных причин, почему в будущем от оператора могут отказаться вообще);

• полное подчинение (машина не сможет пойти против своего кода, чего нельзя сказать о самовольности японских или немецких солдат во Второй мировой войне).

У автономии есть и ряд недостатков:

• опасность ошибки (уже упомянутый пример с Машиной Судного дня);

• поврежденные коммуникации могут прервать связь с оператором (нет контроля прекращения войны);

• с возрастанием скорости работы машины уменьшается время на обдумывание (оператор не успеет вмешаться при необходимости);

• изменение ценностей человека (перекладывание ответственности на машину);

• нет места человеческой интуиции (военный, узнавший, что его страну атакуют, взвесит все возможные последствия, прежде чем сообщить о возможной катастрофе вышестоящим).

В пик холодной войны Станислав Петров, советский подполковник, получил извещение со спутника об американской ядерной атаке. Петров интуитивно решил не сообщать об этом руководству страны. Позже выяснилось, что данные были ложной тревогой и здравая оценка Петрова предотвратила ядерную войну.

Последний фактор, нечеловечность, подпитывает один из основных страхов людей перед автономией — восстанием машин.

Чудовище Франкенштейна, выступившее против создателя, было создано по образу и подобию человека, но человеком так и не стало.

Сегодня мир готовится применить новую технологию в автономии — искусственный интеллект, который, предположительно, сделает машину более похожей на человека.

Искусственный интеллект: «мозг» в машине или машинный мозг?

Автор детально рассматривает принципы работы ИИ и ее последствия для растущей автономии машин.

Особые опасения вызывают глубокие нейронные сети — искусственные сети с множеством слоев между входным и выходным слоем. Такие сети способны к самостоятельному обучению.

У нас есть поле серых точек, разделенное на две группы.

Наиболее светлые оказались в основном справа, более темные — слева. Также есть небольшой нахлест посередине — светлые и темные точки вперемешку. Правый край — это входной слой информации для распознавания, в самом поле множество слоев, а с левого края — выходной слой распознанной информации.

Если попросить нейросеть определить, какого оттенка вероятнее всего будет новая точка, принимая во внимание указанную позицию, то ИИ сначала проведет разделительную линию между группами точек, учитывая, что имеется некоторое наложение, а затем определит, что статистически слева точки будут темнее, а справа — светлее.

Теперь представьте, что нам нужно предсказать, где вероятнее всего будет самая темная точка. Поскольку вероятность говорит, что чем левее, тем темнее, то ответ машины будет «бесконечно левее», так как ИИ до сих пор мыслит линейно. Даже если машина окажется «бесконечно» права, для нас это будет ошибкой, неисправностью системы.

Вообразим, что ИИ отвечает за автономную работу оружия.

Если противник создаст «бесконечно» правильное закодированное изображение и покажет его машине, то она может увидеть, например, вражескую ракету на месте платяного шкафа, и наоборот. Такая же проблема может возникнуть и с распознаванием звука.
(Обратная сторона Терминатора).

Плюсы ИИ очевидны, но важно помнить и о рисках, которые могут негативно повлиять на автономию как систем вооружения, так и технологий в целом:

• непостижимость процесса принятия решений — глубокие нейросети рассуждают не так, как мы, выбирают непривычные способы достижения целей, поэтому человеку будет тяжело обнаружить и устранить неполадку;

• доступность — большая часть технологий, стоящая за ИИ, — это программное обеспечение, доступное для скачивания в интернете;

• нечеловеческая скорость развития — в какой-то момент технологии ИИ начнут развиваться с такой скоростью, что мы не будем успевать их тестировать, не сможем вовремя заметить и исправить критические ошибки.

В начале 60-х XX века Джон Ирвинг Гуд, британский математик-криптолог, разработал концепцию «интеллектуальной революции» (от англ. intellectual explosion). Согласно ей, сверхразумная машина по определению значительно превосходит любого человека по интеллекту. Следовательно, эта машина может построить еще более умные машины, что приведет к революции в автономном машиностроении. Человеку же достаточно создать только изначальную сверхразумную машину, а она, если будет достаточно послушной, объяснит, как ее контролировать.

Эксперты полагают, что есть два варианта развития: жесткий и мягкий отрыв. 

Первый предполагает, что наиболее продвинутая из наших машин превратится в сверхразумную машину за считаные минуты или часы. Второй сценарий откладывает эту возможность на десятилетия.

Возможно, такой сверхразумной машиной будет общий ИИ.

Эта технология представляет особую опасность, так как потенциально может переписать свой код.

Очевидно, что ИИ будет использоваться на войне. Сегодня мы столкнулись с проблемой, которую называют парадоксом Терминатора: будут ли впечатляющие возможности ИИ использованы во благо человечества или их применение приведет к росту числа жертв?

Проактивные общества по всему миру, которым не безразличен этот вопрос, разделятся на два лагеря: те, кто стремится ограничить развитие ИИ и автономии машин, и те, кто призывает к полному запрету этих технологий.

Как не оказаться в свинцовом гробу с героиновой капельницей.

Кампания «Остановим роботов-убийц», собравшая более 3000 экспертов по робототехнике и ИИ и более 60 неправительственных организаций, имеет вполне серьезную цель.

Ее миссия: «Всеобъемлющий, упреждающий запрет на разработку, производство и использование полностью автономного оружия». Эти слова призывают человечество одуматься и увидеть, какое будущее нас ждет, если мы заранее не запретим роботов-убийц. Тем не менее одних заявлений недостаточно. 

На успех/неудачу запретов автономного оружия влияют три фактора:

• количество стран — во времена холодной войны было две сверхдержавы, которые, по сути, решали, будет ли запрет работать, тогда как сейчас даже одно государство может расшатать основу договора своим выходом из него;

• осознание чудовищности оружия — если с химическим оружием такой фактор сработал, то совсем не обязательно, что этого хватит для запрета машинной автономии;

• понимание пользы — например, ядерное оружие необходимо в первую очередь для сохранения стратегической стабильности в мире, а потому было военной необходимостью и перевесило второй и, пожалуй, первый фактор.

(Обеспечение стабильности в мире).

Наряду со стратегической стабильностью выделяют еще несколько типов стабильности.

• Кризисная стабильность, которая помогает избежать условий, способствующих обострению непреднамеренного конфликта. 

• Контроль прекращения войны. Этот тип стабильности признает, что конфликты бывают частью политики государств и что страны должны уметь не только начинать войны, но и заканчивать их. 

• Баланс наступления—обороны. 

Режим с преобладанием наступления и наступательного вооружения (например, танков) создает условия, в которых легче захватить территорию, а режим обороны, наоборот, — условия, когда захват территории проблематичнее (к примеру, затянувшиеся бои в траншеях времен Первой мировой войны).

Последний режим в целом стабильнее, так как затрудняет территориальную агрессию.

Кроме того, стабильность договоров между странами обеспечивают: 

• ясность трактовок — четкий, простой, максимально недвусмысленный текст; 

• мотивацию — у стран должны быть важные причины, чтобы подписать договор;

• соблюдение принципа зеркальности — страны знают, что их ждет, если они нарушат договор; составляющая стратегической стабильности;
• прозрачность — необходима для верификации/подтверждения выполнения условий договора.

(Руководство по эксплуатации автономного оружия).

Глобальная гонка ИИ-вооружений действительно может привести к тому, что ИИ-оружие окажется в руках наименее этичных режимов. 

Пол Шарр предлагает для государств мира четыре возможных подхода к договорам/запретам, касающимся автономии: 

• Запрет полностью автономного вооружения — автор предлагает разделить автономное оружие на фиксированное относительно места/человека и мобильное. 

Маловероятный сценарий, особенно в военное время. Кроме того, государствам потребуется осознать, что запрет в их интересах. Наконец, сложно договориться о едином определении, чтобы установить, какие виды вооружения уже используют автономию, а какие нет.

• Запрет только противопехотных, направленных против солдат видов вооружения — понятнее предыдущего запрета из-за осознания чудовищности автономного оружия, подпитываемого страхом восстания машин.

Обеспечение прозрачности все еще проблематично, так как трудно доказать всему миру, что у машины нет опции «полная автономия», не выдав при этом военной тайны. Зато даже если технологией машины завладеют террористы, то велика вероятность, что государства продолжат придерживаться запрета, так как группа террористов необязательно играет решающую роль для общей стабильности.

• Дорожная карта для автономного оружия — не имеет обязательной юридической силы; применима для сохранения стратегической стабильности даже в кризисной ситуации.

Например, к основным законам робототехники можно добавить закон «не открывать огонь первым в отсутствие оператора» или закон «ограниченного ответного огня». 

Государства должны выработать некоторые нормы машинной автономии, которые будут общими для всех, особенно в том, что касается применения силы. Эти положения могут, например, опираться на принципы международного гуманитарного права, признанные большей частью мирового сообщества. Нормы не только начнут способствовать общей стабильности, так как страны будут приблизительно знать, какого зеркального ответа опасаться, но и могут лечь в основу полноценного договора. 

Тем не менее карта будет полезной только до начала конфликта, а в разгар войны уже не поможет.

• Общие принципы о роли человека на войне — затрагивают не постоянно изменяющиеся технологии, а более поддающийся закреплению в документе элемент — человека.

В этом общем документе можно оговорить все возможные вопросы. В нем стоит обозначить единое для всех стран рабочее определение автономии и прописать роль ИИ в системах вооружения. Самое главное, что в общих принципах отразится определенное отношение людей к автономии. Например, человек может быть для машины:

– оператором (управляющим, в отличие от пилота, на расстоянии);
– предохранителем (может вовремя взять контроль на себя);
– источником моральной ответственности (закладывает в машину понятия того, что хорошо, а что плохо).

Следует каким-то образом связать алгоритмы машины с человечностью, нашими ценностями, несмотря на то что человек не самый лучший образец для подражания. Иначе автономная машина, желающая помочь людям сделать их счастливее, подчиняясь заданной команде, спрячет нас глубоко под землей в обитые свинцом «гробы с подсоединенными трубками подачи героина».