Исследование Массачусетского технологического института (MIT) выявило серьезный недостаток в востребованных Vision-Language Models (VLM), которые используются для анализа медицинских изображений. Главная проблема заключается в том, что эти системы неправильно воспринимают отрицательные слова, такие как «нет» или «не». Например, когда модель пытается идентифицировать рентгеновские снимки с отеком, но без увеличенного сердца, она может по ошибке включить изображения, где оба состояния присутствуют. Это может привести к неправильной диагностике: сочетание отека с увеличением сердца указывает на сердечные болезни, в то время как их разделение может означать другие патологии. Кумайл Альхамуд, аспирант MIT и главный автор исследования, предупредил, что «игнорирование отрицаний может иметь катастрофические последствия, если такие модели будут применяться без должной проверки».
Для решения этой проблемы исследовательская группа разработала уникальный набор данных, состоящий из 10 миллионов пар «изображение-подпись», в которые включены отрицания. После переобучения на этих данных точность моделей значительно возросла, особенно в задачах поиска изображений, свободных от определенных объектов. Тем не менее, профессор Марзиех Гассеми подчеркнула, что наличие ошибок в таких фундаментальных аспектах, как отрицание, говорит о том, что внедрять VLM в критически важные области, такие как медицина, сейчас слишком рискованно. Проблема заключается в том, что классические VLM обучаются на данных, содержащих в основном утвердительные описания, с минимальным количеством отрицаний.
В то же время другое исследование предложило прорывную нейронную модель — сеть Хопфилда с изменяемой пластичностью, управляемой входными данными (IDP). Классическая модель Хопфилда определяет память как переход к ближайшему устойчивому состоянию, не учитывая влияние внешних сигналов. В отличие от нее, IDP-модель позволяет входным данным непосредственно изменять синаптические связи, что приводит к перестройке энергетического ландшафта сети. Это приводит к повышенной устойчивости к шуму: помехи не только не мешают, но и способствуют выходу из локальных минимумов, помогая находить более актуальные воспоминания. Например, при сбоях во входных сигналах IDP сохраняет стабильность, связывая старую информацию с текущими данными.
Кроме того, исследовательская группа обнаружила, что процесс извлечения памяти в IDP зависит от так называемых «коэффициентов заметности», которые показывают, насколько входные данные соответствуют ранее сохраненным шаблонам. Если эти коэффициенты находятся ниже определенного порога, сеть попадает в «состояние замешательства» и не выдает результатов. Однако, если заметность достаточна, модель успешно классифицирует даже смешанные сигналы. Это открытие важно для создания систем непрерывного обучения, позволяющих ИИ адаптироваться к новым данным без утраты ранее приобретенных навыков.
Оба исследования подчеркивают необходимость пересмотра существующих подходов в области искусственного интеллекта. Уязвимости VLM требуют более осторожного применения в критически важных секторах, тогда как новая модель IDP открывает перспективы для разработки адаптивных систем, имитирующих биологические механизмы памяти. Авторы заключили: «Связь IDP с архитектурой трансформеров и механизмами внимания может стать ключом к будущим достижениям в машинном обучении».





