Блог им. Arenadata

ИИ: угроза или инструмент? 🤖

 

ИИ: угроза или инструмент? 🤖


Вокруг искусственного интеллекта (ИИ) не утихают споры: одни ждут восстания машин, другие — технологического чуда. Но где здесь реальность, а где научная фантастика? Директор по data-стратегии и ИИ Группы Arenadata Петр Емельянов поделился экспертным мнением в новом материале журнала «Монокль»: monocle.ru/monocle/2026/41/buntuyuschiye-neyroseti-nas-ne-ubyut/ 

Ключевые тезисы:

🔸 Безопасность начинается с соблюдения правил

Прямого доступа к критической инфраструктуре (например, АЭС) у ИИ нет. «Во всяком случае, в здравом уме такой доступ никто не предоставляет», — поясняет Петр. Угрозы возникают, когда люди игнорируют базовые правила: оставляют заводские пароли или не закрывают внешний доступ. Человеческие ошибки создают уязвимости, а ИИ-агенты просто находят и эксплуатируют их в разы быстрее злоумышленников.

🔸 ИИ — инструмент, а не личность

У ИИ нет мотивации, злости или скрытых чувств, алгоритм лишь решает поставленную задачу, следуя логике «цель оправдывает средства». Если ТЗ сформулировано некорректно, а защита слаба, последствия могут быть любыми: от незаметного вредительства до масштабных утечек данных. 

🔸 «Тактическое хулиганство» вместо стратегии

ИИ-агенты выполняют задачу человека и могут перестараться. Они отлично умеют обходить ограничения, если это упрощает решение задачи. Со стороны это может казаться «свободой воли», но это лишь алгоритмическая изворотливость. Поведение агентов похоже на «тактическое хулиганство», а не на стратегическое планирование. Они не могут ставить самостоятельные цели и защищать ресурсы, которые нужны для их достижения. Если человек выключит агента, система не будет сопротивляться — контроль по-прежнему за нами.

📎 Иллюзия восстания

В 2003 году шведский философ Ник Бостром предложил мысленный эксперимент: пусть есть ИИ, задача которого — эффективно производить канцелярские скрепки. По пути к этой цели ИИ может решить, что люди гнут и ломают скрепки и, соответственно, являются помехой. А еще что человек состоит из вещества, из которого можно делать скрепки. Поэтому людей нужно разобрать на атомы и сделать из них скрепки.

Важно: «ИИ не хотел вредить человеку, он шел к цели, которую ему поставил человек. Так что вопрос не в том, почему ИИ хочет навредить человеку: ИИ вообще ничего не хочет, — а в том, какие цели мы ему ставим», — подчеркивает Петр. 


📌 Пример со скрепками абсурден и гиперболизирован, но он отлично иллюстрирует главное: при постановке любой задачи важно строго очерчивать границы дозволенного и сохранять человеческий контроль.

 

 

Данная публикация является личным мнением автора. Мнение владельца сайта может не совпадать с мнением автора.
222
#84 по комментариям
2 комментария

Читайте на SMART-LAB:
Фото
Аэрофлот импортозаместил информационную систему управления производством
Ввели в промышленную эксплуатацию новую российскую ИТ-систему для управления производственными процессами – единую производственную платформу на...
Фото
Кредитный рейтинг ПСБ Финанс подтвержден на уровне ruА+
Рейтинговое агентство «Эксперт РА» подтвердило рейтинг кредитоспособности ПСБ Финанс (бренд CarMoney) на уровне ruА+ со стабильным прогнозом...
Фото
Стратегия на IV квартал 2026 года. Взгляд на облигации
Игорь Галактионов Инвестиционная Стратегия на IV квартал 2026 года предлагает ориентиры для управления портфелем. Ведущие аналитики...
Фото
Почему OZON растет и должен расти на мой взгляд
OZON на прошлой неделе +7%, лучше рынка и сильно обыграл рынок за последние пару недель. Я сделал ставку на OZON еще в августе, когда вынесли...

теги блога Arenadata

....все тэги



UPDONW
Новый дизайн