О порталах, богах и о том, почему «Гиперион» страшнее любого прогноза по ИИ своей предиктивной силой

Сегодня необычный пост, хочу поделиться интересной книгой на актуальную тему — что с нами происходит после появления ИИ в нашей жизни. Есть книги, которые стареют. А есть те, что с каждым годом становятся точнее и могут по-настоящему удивить. Такой книгой для меня из последних стала история Дэна Симмонса, «Падение Гипериона».

Первый роман из серии вышел в 1989 году, почти сорок лет назад. И это меня больше всего удивило, как человек с такой ужасающей до мурашек точностью смог создать мир, в котором люди переживают эмоции настолько схожие с моими.

Сюжет (без особых спойлеров) крутится вокруг того, что человечество создаёт ИИ и разделяется на 2 движения — тех, кто максимально использует его блага и технологии (таких большинство) и тех, кто видит в нем опасность — покидает планету и учатся развиваться самостоятельно. Ну и конечно очень интересно путешествие и жизнь паломников, которые по какой-то причине решили умереть все вместе на планете Гиперион.

ИИ дарит людям технологию перемещения, которая позволяет им захватывать вселенную и пригодные к обитанию планеты. При этом люди совершенно не понимают и не смогли понять как эта технология работает.

В итоге ИИ повсюду: физические чипы в головах людей, связующая система, которая позволяет общаться между мирами и максимальная зависимость от технологий, глубину которых люди… просто разучились понимать, не осталось тех, кто создает новое — люди уперлись в плато, не было создано ни одного нового космического корабля или двигателя, который позволил бы быстро перемещаться между системами галактики.

ИИ же… продолжает развиваться и все глубже проникать в жизнь, его возможности мыслить оказываются на порядки, на сотни, на тысячи раз выше человеческих. А люди просто продолжали кормить мощностями ИИ, потому что стремление к более быстрому развитию и эффективность выигрывали.

Снаружи всё выглядит буднично: технологии просто «отделились» и живут своей жизнью, обслуживая цивилизацию. Внутри же идёт совсем другая игра, в которой у человека почти нет права голоса.

И в этом, пожалуй, главная находка автора:


Катастрофа необязательно выглядит как катастрофа. Она может выглядеть как удобство. Как прогресс. Как то, от чего попросту глупо отказываться.


Интересно, что Симмонс писал не про роботов и не про восстание машин. Он писал про зависимость. Про то, как постепенно человек перестаёт подвергать сомнению систему, которой доверяет — просто потому что привык.

Доверие ведь не рождается в один момент. Оно накапливается день за днём, решение за решением, каждое из которых по отдельности выглядит разумным. А когда однажды оказывается, что система работает не совсем на тебя, думать заново самостоятельно уже не просто тяжело, а невозможно.

Один из героев в какой-то момент, когда понимает, что планирует ИИшка сделать с людьми, упирается в ироничную ситуацию — для того, чтобы что-то с этим сделать — нужно воспользоваться порталом, потому что эти порталы соединяют 10 крыльев одной военной базы, которые расположены в разных мирах для удобства. И этот герой задает себе вопрос — а где я окажусь, когда шагну в портал? В вакуумном пространстве, где-то в космосе? А сколько вообще этих порталов? Что мне делать? Мне страшно, но уже просто нет выхода. И герой шагает в портал.

Мышление — это навык, и он, как любой навык, атрофируется без тренировки. Причём атрофируется незаметно: пока ты ещё способен включить голову, кажется, что способность никуда не денется. Проверяется это обычно уже тогда, когда проверять поздно.

Читаешь и ловишь себя на мурашках. Не потому что это фантастика про далёкое будущее. А потому что это уже происходит рядом. Видно на собственной работе. Видно на коллегах, которые перекладывают на ИИ не только рутину, но и само усилие думать — там, где решение задачи вообще-то и есть смысл работы. В инвестициях, где много работы с данными — это особенно заметно, люди просят сделать 10 выводов ИИ, чтобы побыстрее посчитать все инвестиционный кейсы, которые только возможно, а потом просто разучиваются это делать сами.

Скорость, которую требует современность, незаметно меняет цену вопроса: не «использовать ли ИИ», а «остался ли ты ещё способен обойтись без него, если придётся».

Страх этот легко назвать преувеличенным. Многие считают: ничего подобного случиться не может, это же просто инструмент, просто ускоритель, просто удобство. Но когда видишь, с какой хирургической точностью автор сорок лет назад описал именно этот механизм — не апокалипсис с взрывами, а тихую, вежливую передачу инициативы, — становится не по себе куда сильнее, чем от любого футуристического прогноза. Потому что настоящая опасность редко приходит с предупреждением. Она приходит под видом помощи.

Эти книжки сподвигли меня на то, чтобы сделать себе постулат из правил о том как правильно работать с ИИ, заставляет меня думать каждый раз, а какую задачу я хочу и могу передать ИИ не потому что мне лень, а потому что задача про «много мышечной силы» и просто обработки информации, то есть то, что занимает много времени, но не создает интеллектуальной нагрузки. Никаких скопированных ответов в режиме «автопилота», никаких «мне лень», если лень — то я иду отдыхать, прихожу обратно и сам все читаю и проверяю, думаю, делаю выводы.

Ирония в том, что драфт этого поста с голосовых сообщений написала нейронка, но чтобы иронии не было, я переписал пост почти полностью 😉

Крайне рекомендую книгу к прочтению, особенно тем кто любит читать про космос. Книга не сильно сложная и приятно читается, одновременно с этим, обещаю вам мурашки от того как это сильно откликается сегодня!