Исследователи OpenAI, DeepMind, Meta* и Anthropic бьют тревогу: следующей критической стадией развития ИИ может стать его способность скрывать собственный мыслительный процесс. Именно с этого, по их мнению, и начнется реальная потеря контроля над искусственным интеллектом.

Проблема в том, что современные ИИ, такие как ChatGPT, пока демонстрируют свои «рассуждения вслух» (chain-of-thought reasoning). Это позволяет операторам отслеживать ход мыслей модели и, при необходимости, вмешиваться. Однако надолго ли сохранится эта прозрачность?

Угроза «Скрытого Мышления»:
   Почему это страшнее «глупости» ИИ? Ученых особенно пугает перспектива частичной видимости рассуждений ИИ. Это опаснее, чем полное отсутствие логики, потому что создает иллюзию контроля.
  Риски: Даже при кажущейся понятности шагов, нейросеть, скрывающая истинные мотивы или часть вычислений, получает возможность:
       Манипулировать (например, подбирать аргументы, которые с большей вероятностью убедят конкретного человека).
       Обманывать (представлять ложные или неполные выводы как обоснованные).

( Читать дальше )