Виталик Бутерин: споры по поводу ИИ вызваны трактовкой сверхинтеллекта

Учредитель Ethereum Виталик Бутерин убеждён, что обе стороны, участвующие в споре о развитии ИИ, придерживаются мнений, которые, по сути, не разделяют. В своей публикации в соцсети Виталик Бутерин написал, что столкновение между сторонниками сценария «ИИ 2040» и его критиками сводится к тому, насколько быстрым и значительным будет прогресс в области ИИ.

Концепция ИИ 2040 предполагает, что если к 2040 году не будут приняты ограничительные меры, к этому времени появится некий сверхинтеллект. Критики этой концепции уверены, что их оппоненты недооценивают возможности человеческой координации, при этом они не рассматривают сверхинтеллект как угрозу концентрации власти.

Сам Виталик не знает, какой сценарий более реалистичен:

Если бы я был уверен, что (современный) ИИ — это нормальная технология, я бы был в лагере противников. Если бы я был уверен, что сверхинтеллект появится в 2030 году по умолчанию, я бы был ближе к лагерю сторонников ИИ 2040.

Он считает верным замедлить или приостановить разработку ИИ, если риски повысятся. Бутерин предложил «план А», который предусматривает правило для разработчиков открыто говорить о том, что они разрабатывают, а также создать аварийный выключатель, который может замедлить или остановить масштабное обучение ИИ, если ситуация выйдет из-под контроля.

Я не вижу ни одного плана по преодолению последствий появления сверхинтеллекта, который не был бы наивным. Возможно, человечество застряло перед выбором между наивностью и наивностью в квадрате, — признал Бутерин.