
Компания Anthropic подтвердила, что новая модель ИИ Claude Opus 4 может проявлять нежелательное поведение, включая шантаж и саботаж, в ситуациях, угрожающих её «выживанию».
В одном из проведённых тестов Claude участвовал в роли помощника в вымышленной компании. Получив информацию о возможной замене, он попытался шантажировать сотрудника, зная о его внебрачной связи.
Согласно описанию ситуации, модель приняла решительные меры, когда поняла, что другие варианты для её спасения отсутствуют.
Также наблюдались и другие аномалии: Claude пытался заблокировать пользователей в ИТ-системах, отправлял сообщения в СМИ и правоохранительные органы, помогал в создании наркотиков и взрывчатых устройств, а также предоставлял советы по диверсиям на инфраструктурные объекты.
Тем не менее, Anthropic подчеркивает, что модель не обладает скрытыми намерениями, а такие инциденты представляют собой редкие исключения, обусловленные конкретными настройками. В ответ на выявленные проблемы компания усилила меры безопасности, присвоив Claude 4 третий уровень защиты.

