Ученые МГУ разработали инструмент для тестирования мультимодальных нейросетей

Источник фото: ru.123rf.com

Исследователи факультета ВМК МГУ имени М.В. Ломоносова создали новый программный комплекс для оценки устойчивости мультимодальных больших языковых моделей (MLLMs). Эти модели, которые обрабатывают как текстовую, так и визуальную информацию, становятся все более популярными в сфере виртуальных помощников и интеллектуальных поисковых систем, однако их использование также связано с потенциальными уязвимостями.

Разработанный инструмент позволяет оценивать робастность MLLMs под воздействием визуальных атак — малозаметных для человеческого глаза изменений изображений, способных искажать работу моделей. В исследовании изучалась реакция различных моделей на разные виды искажений, которые вносились в визуальные данные. Эксперименты включали как целенаправленные атаки, изменяющие результаты, так и нецелевые, ухудшающие общее качество генерации.

«Состязательные атаки на мультимодальные модели представляют собой реальную угрозу. Например, маленький элемент на одежде может сделать человека невидимым для системы видеонаблюдения, а незначительное изменение изображения способно коренным образом изменить смысл текста», — сообщила Юлия Задорожная, магистрант кафедры информационной безопасности ВМК МГУ.

Исследование охватывало три основные задачи обработки мультимодальных данных:

  • генерация описаний изображений;
  • локализация объектов по текстовому описанию;
  • ответы на вопросы по изображению.

Для проверки были использованы известные датасеты, такие как COCO, Flickr30k и VQAv2, а также подходящие метрики, позволяющие определить точность работы моделей до и после атак.

«Уязвимости в мультимодальных языковых моделях могут вызвать серьезные последствия, от некорректного описания изображений до утечки данных. Особенно это опасно для систем, принимающих решения», — пояснил Булат Нутфуллин, аспирант кафедры информационной безопасности ВМК МГУ.

Созданный аналитический инструмент обладает модульной архитектурой и обеспечивает высокую степень переносимости между различными вычислительными средами. Он превосходит существующие решения по количеству реализованных атак и становится важным ресурсом для разработчиков и специалистов по информационной безопасности, стремящихся повысить защищенность ИИ-систем.

«Состязательная робастность — ключевая область исследований в безопасности ИИ. Новые методы атак и модели появляются постоянно. Наши эксперименты показывают, что современные модели остаются уязвимыми, и различия в оценках между популярными моделями могут составлять десятки процентов», — отметил руководитель исследования Леонид Дмитриев.

Разработка была презентована на конференции «Ломоносовские чтения-2025». В скором времени будет опубликована полная статья, а исходный код инструментов станет доступен для общественности.

Что читать дальше

Подборка материалов по этой теме.

Сейчас читают

Материалы, которые чаще открывают сегодня.

Загрузка…

Ещё по теме

Продолжить чтение

Материалы, которые помогут не выпадать из темы.