Ошибки в ИИ-системах: как игнорирование отрицаний угрожает диагнозам медицинских моделей

Исследование Массачусетского технологического института (MIT) выявило серьезный недостаток в востребованных Vision-Language Models (VLM), которые используются для анализа медицинских изображений. Главная проблема заключается в том, что эти системы неправильно воспринимают отрицательные слова, такие как «нет» или «не». Например, когда модель пытается идентифицировать рентгеновские снимки с отеком, но без увеличенного сердца, она может по ошибке включить изображения, где оба состояния присутствуют. Это может привести к неправильной диагностике: сочетание отека с увеличением сердца указывает на сердечные болезни, в то время как их разделение может означать другие патологии. Кумайл Альхамуд, аспирант MIT и главный автор исследования, предупредил, что «игнорирование отрицаний может иметь катастрофические последствия, если такие модели будут применяться без должной проверки».

Исследование MIT: не обращающие внимание на отрицание при диагностике ИИ-модели угрожают пациентам. Но решение существует
Иллюстрация: Leonardo

Для решения этой проблемы исследовательская группа разработала уникальный набор данных, состоящий из 10 миллионов пар «изображение-подпись», в которые включены отрицания. После переобучения на этих данных точность моделей значительно возросла, особенно в задачах поиска изображений, свободных от определенных объектов. Тем не менее, профессор Марзиех Гассеми подчеркнула, что наличие ошибок в таких фундаментальных аспектах, как отрицание, говорит о том, что внедрять VLM в критически важные области, такие как медицина, сейчас слишком рискованно. Проблема заключается в том, что классические VLM обучаются на данных, содержащих в основном утвердительные описания, с минимальным количеством отрицаний.

В то же время другое исследование предложило прорывную нейронную модель — сеть Хопфилда с изменяемой пластичностью, управляемой входными данными (IDP). Классическая модель Хопфилда определяет память как переход к ближайшему устойчивому состоянию, не учитывая влияние внешних сигналов. В отличие от нее, IDP-модель позволяет входным данным непосредственно изменять синаптические связи, что приводит к перестройке энергетического ландшафта сети. Это приводит к повышенной устойчивости к шуму: помехи не только не мешают, но и способствуют выходу из локальных минимумов, помогая находить более актуальные воспоминания. Например, при сбоях во входных сигналах IDP сохраняет стабильность, связывая старую информацию с текущими данными.

Кроме того, исследовательская группа обнаружила, что процесс извлечения памяти в IDP зависит от так называемых «коэффициентов заметности», которые показывают, насколько входные данные соответствуют ранее сохраненным шаблонам. Если эти коэффициенты находятся ниже определенного порога, сеть попадает в «состояние замешательства» и не выдает результатов. Однако, если заметность достаточна, модель успешно классифицирует даже смешанные сигналы. Это открытие важно для создания систем непрерывного обучения, позволяющих ИИ адаптироваться к новым данным без утраты ранее приобретенных навыков.

Оба исследования подчеркивают необходимость пересмотра существующих подходов в области искусственного интеллекта. Уязвимости VLM требуют более осторожного применения в критически важных секторах, тогда как новая модель IDP открывает перспективы для разработки адаптивных систем, имитирующих биологические механизмы памяти. Авторы заключили: «Связь IDP с архитектурой трансформеров и механизмами внимания может стать ключом к будущим достижениям в машинном обучении».

Что читать дальше

Подборка материалов по этой теме.

Сейчас читают

Материалы, которые чаще открывают сегодня.

Загрузка…

Ещё по теме

Продолжить чтение

Материалы, которые помогут не выпадать из темы.