Иван-дурак, Ну окей, можно это обобщить до более широкого понятия, когда нейросети представляют физическую опасность — через дыры для злоумышленников или через что-то другое — не важно. Нейросетям всё больше рычагов в руки дают — вот как в примере — буквально руль и педали автомобилей, это уже абсолютно физический мир с абсолютно реальными рисками. И рычагов всё больше.

По поводу самосознания — это же абстракция, или нет. Кто сказал, что нет самосознания, кто сказал, что такое самосознание, кто сказал, что для того, чтобы, условно, «взбунтоваться» нужно самосознание? — Да никто, это на уровне чьего-то видения, домыслов или философии. По факту имеем, не до конца понятная, интерпретируемая и управляемая (как минимум в следствии не до конца понятности) хреновина с всё возрастающим кол-вом рычагов управления в руках.

Даже если бы человечество не знало не придумало понятие «бунт машин» или что-то подобное, в любом случае всегда может появиться что-то новое, о чем ты не знаешь, и вот концентрация большого числа рычагов — делает последствия всяких подобных событий очень существенными, даже если ничего не говорит про вероятность таких событий.

Думаю, 2 основных челленджа впереди:


— Сможет ли человечество так технично самоорганзоваться в новых условиях, чтобы расслоение не взлетело к ещё большим небесам, где все потерявшие работу стали бомжами, нищими, маргиналами — ну там какой-то пассивный доход или типа того может эту проблему решить — приемлемую жизнь обеспечим всем, хочешь лучше — тут уже как и раньше — каждый сам за себя.

— Опасность ИИ как некой очень мощной силы, которая 1. Мощная, 2. Не до конца понятная 3. Может выйти из под контроля. Тут надежда на то, что человек с учетом всего накопленного человечеством опыта будет сразу думать головой, а не постфактум. Ну а если что-то пойдёт terribly wrong — надежда, что человеки забудут все распри и объединятся и от такого единого порыва, даже ИИ охренеет и мы победим. 

В детстве читаешь фантастическую книжку — погружаешься в придуманную вселенную. Потом выгрузил себя из вселенной, поставил на полку, оставил немного воспоминаний. Сейчас возникает ощущение, что одна из книжек засасывает тебя в свою реальность и это так просто не «выгрузишь». Как сон, из которого нельзя проснуться — новая реальность. Только прикол ещё в том, что ты не знаешь, какая именно книжка тебя засасывает. Кто фантастикой увлекался, увлекается, думаю в курсе, что не все фантастические миры дружественны, приятны и комфортны.

Комментарии скептиков даже комментировать лень, если честно.