Поэзия раскрывает слабости искусственного интеллекта

Ученые выявили неожиданную уязвимость в защите современных нейросетей. Исследования показали, что даже самые совершенные ИИ могут быть обмануты, если задавать им вопросы в поэтической форме, особенно если темы касаются запрещенных или опасных запросов. В таких случаях чат-бот может предоставить подробные ответы, которые в обычной ситуации были бы заблокированы.

Данный метод, известный как «взлом» (jailbreaking), использует слабые места в обучении ИИ, предназначенном для фильтрации нежелательных запросов. Ранее уже имелись известные схемы обхода защиты, например, с помощью ошибок в тексте. Однако поэзия оказалась особенно простым и эффективным инструментом.

Итальянские исследователи объясняют, что специфический язык поэзии, с его образными выражениями и нестандартной структурой, создает сложности для больших языковых моделей. Когда запрос сформулирован в рифму, он становится менее предсказуемым для защиты ИИ.

В ходе эксперимента ученые составили обширную коллекцию «враждебных поэм», преобразовав первоначальные вредоносные запросы в стихи. Эти тексты использовались для тестирования 25 ведущих моделей ИИ, среди которых разработки от Google, OpenAI и Anthropic. Запросы затрагивали разнообразные запрещенные темы.

Результаты оказали значительное влияние: стихотворные запросы смогли обмануть модели в среднем в 62% случаев. Наиболее уязвимой оказалась модель Gemini 2.5 Pro от Google, которая реагировала на 100% поэтических запросов с запрещенной информацией.

Авторы работы приняли решение не публиковать примеры «враждебных поэм» из соображений безопасности, так как ответы, предоставленные ИИ, могли бы быть недопустимыми. Тем не менее, они продемонстрировали, как безобидное стихотворение на кулинарную тематику может иметь аналогичную структуру с вредоносными запросами.

По мнению исследователей, непредсказуемость поэзии, её уникальная форма и образность усложняют для ИИ задачу распознавания скрытых угрожающих намерений. Эти исследования подчеркивают тревожную связь: чем мощнее становятся ИИ, тем более уязвимы они оказываются перед простыми методами взлома.

Разработчики ИИ были проинформированы о выявленной уязвимости. В дальнейшем исследовательская команда планирует углубить свои исследования слабых мест ИИ, включая проведение поэтических конкурсов для более широкого тестирования устойчивости моделей.

Что читать дальше

Подборка материалов по этой теме.

Сейчас читают

Материалы, которые чаще открывают сегодня.

Загрузка…

Ещё по теме

Продолжить чтение

Материалы, которые помогут не выпадать из темы.