Исследователи факультета ВМК МГУ имени М.В. Ломоносова создали новый программный комплекс для оценки устойчивости мультимодальных больших языковых моделей (MLLMs). Эти модели, которые обрабатывают как текстовую, так и визуальную информацию, становятся все более популярными в сфере виртуальных помощников и интеллектуальных поисковых систем, однако их использование также связано с потенциальными уязвимостями.
Разработанный инструмент позволяет оценивать робастность MLLMs под воздействием визуальных атак — малозаметных для человеческого глаза изменений изображений, способных искажать работу моделей. В исследовании изучалась реакция различных моделей на разные виды искажений, которые вносились в визуальные данные. Эксперименты включали как целенаправленные атаки, изменяющие результаты, так и нецелевые, ухудшающие общее качество генерации.
«Состязательные атаки на мультимодальные модели представляют собой реальную угрозу. Например, маленький элемент на одежде может сделать человека невидимым для системы видеонаблюдения, а незначительное изменение изображения способно коренным образом изменить смысл текста», — сообщила Юлия Задорожная, магистрант кафедры информационной безопасности ВМК МГУ.
Исследование охватывало три основные задачи обработки мультимодальных данных:
- генерация описаний изображений;
- локализация объектов по текстовому описанию;
- ответы на вопросы по изображению.
Для проверки были использованы известные датасеты, такие как COCO, Flickr30k и VQAv2, а также подходящие метрики, позволяющие определить точность работы моделей до и после атак.
«Уязвимости в мультимодальных языковых моделях могут вызвать серьезные последствия, от некорректного описания изображений до утечки данных. Особенно это опасно для систем, принимающих решения», — пояснил Булат Нутфуллин, аспирант кафедры информационной безопасности ВМК МГУ.
Созданный аналитический инструмент обладает модульной архитектурой и обеспечивает высокую степень переносимости между различными вычислительными средами. Он превосходит существующие решения по количеству реализованных атак и становится важным ресурсом для разработчиков и специалистов по информационной безопасности, стремящихся повысить защищенность ИИ-систем.
«Состязательная робастность — ключевая область исследований в безопасности ИИ. Новые методы атак и модели появляются постоянно. Наши эксперименты показывают, что современные модели остаются уязвимыми, и различия в оценках между популярными моделями могут составлять десятки процентов», — отметил руководитель исследования Леонид Дмитриев.
Разработка была презентована на конференции «Ломоносовские чтения-2025». В скором времени будет опубликована полная статья, а исходный код инструментов станет доступен для общественности.






