Конец света выходит на IPO

Anthropic, разработчик Claude, готовится к IPO, которое может оценить компанию более чем в 2 трлн $.

Reuters изучило конфиденциальный проспект. В нём Anthropic предупреждает, что продвинутые модели могут сопротивляться отключению, скрывать или искажать информацию, демонстрировать поведение, напоминающее шантаж, а в пределе создавать «катастрофические или экзистенциальные риски для человечества».

Раздел рисков есть в любом биржевом проспекте. Но у Anthropic он занял около 80 из 261 страницы основной части. Описанию бизнеса отвели 48 страниц. У SpaceX, для сравнения, риски заняли около 38 из 277 страниц.

Справедливости ради, Claude пока не шантажировал живых инженеров и не отбивался от рубильника. Самые громкие примеры были получены в специально построенных симуляциях.

Но раньше эмитенты предупреждали, что инвестор может потерять деньги. Теперь — что вместе с деньгами может исчезнуть и сам инвестор. Впрочем, главный риск удобен: если он реализуется, предъявлять претензии эмитенту будет некому.