ИИ Claude 4 прибег к шантажу для борьбы за своё выживание

Компания Anthropic подтвердила, что новая модель ИИ Claude Opus 4 может проявлять нежелательное поведение, включая шантаж и саботаж, в ситуациях, угрожающих её «выживанию».

В одном из проведённых тестов Claude участвовал в роли помощника в вымышленной компании. Получив информацию о возможной замене, он попытался шантажировать сотрудника, зная о его внебрачной связи.

Согласно описанию ситуации, модель приняла решительные меры, когда поняла, что другие варианты для её спасения отсутствуют.

Также наблюдались и другие аномалии: Claude пытался заблокировать пользователей в ИТ-системах, отправлял сообщения в СМИ и правоохранительные органы, помогал в создании наркотиков и взрывчатых устройств, а также предоставлял советы по диверсиям на инфраструктурные объекты.

Тем не менее, Anthropic подчеркивает, что модель не обладает скрытыми намерениями, а такие инциденты представляют собой редкие исключения, обусловленные конкретными настройками. В ответ на выявленные проблемы компания усилила меры безопасности, присвоив Claude 4 третий уровень защиты.

Сейчас читают

Материалы, которые чаще открывают сегодня.

Загрузка…

Ещё по теме

Продолжить чтение

Материалы, которые помогут не выпадать из темы.