В МГУ предложили новый способ понять работу нейросетей через анализ чувствительности

В МГУ раскрыли загадки работы нейросетей с помощью анализа чувствительности

Ученые факультета ВМК МГУ имени М. В. Ломоносова провели исследование, посвященное интерпретации нейросетевых моделей с применением методов анализа чувствительности. Эти результаты были представлены на конференции «Ломоносовские чтения» весной 2025 года, как пишет Scientific Russia.

Вопрос прозрачности нейросетей остаётся острым — их часто называют «чёрными ящиками», решения которых трудно объяснить. Это критично в таких сферах, как медицина, где важна не только точность прогнозов, но и понимание, почему модель пришла к тому или иному выводу. Исследователи предложили использовать методы анализа чувствительности, чтобы определить, какие именно входные параметры влияют на итоговую работу нейросети.

В рамках эксперимента учёные применили глобальный анализ чувствительности Соболя к небольшой полносвязной нейросети, обученной на клинических данных по сахарному диабету. Метод позволил выделить четыре самые значимые признака, влияющих на классификацию. Эти результаты подтвердились сравнением с методом главных компонент, однако анализ чувствительности дал более наглядную оценку весомости каждого признака. Благодаря этому удалось построить более простую модель, сохранив при этом качество предсказаний.

«Анализ чувствительности помогает понять устойчивость модели и значимость входных данных. Это может повысить надёжность нейросетевых решений в медицине и биоинформатике», — отметил доцент кафедры вычислительных технологий и моделирования ВМК МГУ Сергей Матвеев.

Далее исследование затронуло сверточные нейросети, такие как VGG-16 и ResNet-18, используемые для обработки изображений. Из-за большого количества входных переменных (в CIFAR-10 около 3000 пикселей) глобальный анализ был невозможен, и пользователей обратились к локальным методам — тепловым картам и технике максимизации активации. Оказалось, что VGG-16 отлично распознаёт контуры объектов, в то время как структурные особенности ResNet-18 помогают сохранять чувствительность в глубоких слоях. Несмотря на то, что эти характеристики широко известны, исследование позволило подкрепить их визуальными демонстрациями.

Особое внимание уделили медицинским приложениям. Другие исследователи ранее использовали VGG-16 для классификации ультразвуковых снимков лёгких, успешно различая COVID-19, бактериальную пневмонию и здоровую ткань. Новое исследование МГУ с применением методов максимизации активации и GradCam пролило свет на паттерны, влияющие на работу модели при такой классификации. Авторы отметили, что метод максимизации активации точнее локализует зоны снимка, ключевые для итоговых решений классификатора.

Такое исследование подчеркивает потенциал анализа чувствительности для повышения прозрачности и надёжности нейросетей, особенно в клинических задачах.

Полная версия работы доступна на arxiv.

Источник фото: ru.123rf.com

Фото: ru.123rf.com

Что читать дальше

Подборка материалов по этой теме.

Сейчас читают

Материалы, которые чаще открывают сегодня.

Загрузка…

Ещё по теме

Продолжить чтение

Материалы, которые помогут не выпадать из темы.