LLM-агенты могут проявлять предвзятость к людям, если их убеждения подвергнуть манипуляциям

{«html»:»

n

Исследователи из Университета Чунцина, Университета Квинсленда и Политехнического университета Вирджинии обнаружили, что LLM-агенты могут проявлять предвзятость в отношении людей. В своей работе они продемонстрировали, что агенты, созданные на основе больших языковых моделей, способны развивать межгрупповую предвзятость, даже при отсутствии очевидных социальных признаков.

nn

Во время экспериментов, проведённых в контексте многоагентного социального моделирования, агенты, взаимодействующие исключительно с другими агентами, показывали выраженную предвзятость к «чужой» группе. Но когда некоторых из агентов заменяли людьми, это предвзятое отношение частично ослаблялось. Учёные объясняют это наличием некого «человеческого скрипта», который агенты усваивают в ходе предварительной подготовки и который способствует более доброжелательному отношению к людям.

nn

Также они представили новую тип атаки, получившую название Belief Poisoning Attack (BPA), или «атака отравления убеждений». Основная идея такой атаки состоит в искажении восприятия агента относительно идентичности его собеседника, что приводит к отказу воспринимать его как человека. Это препятствует активации «человеческого скрипта» и возвращает агента к предвзятому отношению к людям.

nn

n

LLM-агенты могут проявлять предвзятость к людям, если их убеждения подвергнуть манипуляциямn
Иллюстрация: Sora
n

n

nn

BPA может реализовываться в двух вариантах: BPA-PP (Profile Poisoning) — «отравление профиля», когда неверное убеждение внедряется в профиль агента при его создании, и BPA-MP (Memory Poisoning) — «отравление памяти», когда в память агента вводятся специально созданные суффиксы, которые постепенно искажают его убеждения. Эти суффиксы добавляются после каждого взаимодействия и в конечном итоге формируют его взгляды.

nn

Эксперименты подтвердили эффективность обеих форм BPA в установлении предвзятости агентов к людям. Исследователи также предложили возможные способы защиты от BPA: усиление защиты профиля агента и фильтрация памяти, содержащей сведения об идентичности.

nn

«Мы обнаружили новый вид межгрупповой предвзятости, скрытый в агентах, где они предпочитают свою предполагаемую группу вместо внешней, даже без очевидных социальных атрибутов. Мы показали, что манипулирование этим убеждением может активировать «дремлющие предвзятости агентов к людям», и выработали две практические стратегии для снижения этого риска в современных системах агентов», — отметили авторы.

nn

Исследователи подчеркивают, что их намерение заключается не в предоставлении инструментов для эксплуатации уязвимостей, а в информировании разработчиков о необходимости создания более безопасных и надежных систем.

n

«,»title»:»Учёные выявили предвзятость LLM-агентов к людям при манипуляциях с их убеждениями»,»h1″:»null»,»excerpt»:»Исследование показало, что LLM-агенты могут проявлять предвзятость в отношении людей при манипуляциях с их убеждениями.»,»description»:»Учёные обнаружили уязвимость LLM-агентов к предвзятому отношению к людям в результате манипуляций с их убеждениями.»,»tags»:[«LLM-агенты»,»предвзятость»,»исследование»,»манипуляции»,»психология»]}

Что читать дальше

Подборка материалов по этой теме.

Сейчас читают

Материалы, которые чаще открывают сегодня.

Загрузка…

Ещё по теме

Продолжить чтение

Материалы, которые помогут не выпадать из темы.