ИИ всё чаще ссылается на недействительные научные статьи, выясняется в новых исследованиях

Совсем недавно проведённые исследования привлекли внимание к важной проблеме в сфере искусственного интеллекта. Многие системы, в том числе чат-боты, используют данные из научных статей, которые были отозваны или признаны недостоверными. Это затрагивает такие области, как медицина и биология, где ИИ формирует свои рекомендации на основе ненадежных публикаций.

Группа учёных из Университета Теннесси (США) провела эксперимент с 21 отозванной статьёй в области медицинской визуализации. Результаты показали, что даже современные версии ChatGPT, такие как GPT-4o, в ряде случаев упоминали эти недействительные источники без указания на их статус. Другая работа продемонстрировала, что при анализе более 200 недостоверных и отклонённых публикаций многие модели ИИ не сообщали о их состоянии и даже подтверждали спорные факты. Значительно, что большинство экспериментов проводилось на версиях, не обладающих доступом к актуальной информации в сети.

Иллюстрация: Gemini
Иллюстрация: Gemini

Исследователи подчеркивают необходимость внедрения механизмов, позволяющих распознавать отозванные статьи, и интеграции данных из научных баз в алгоритмы обучения и поиска ИИ. Некоторые компании начали обновлять свои базы данных для снижения использования недостоверных источников, но проблема остается актуальной.

Профессор Юань Фу из Иллинойского университета отметил, что важно различать отозванные публикации, особенно когда ИИ влияет на медицинские и технологические решения. Он призывает повышать осведомлённость как среди специалистов, так и среди широкой аудитории, чтобы избежать слепого доверия к генеративным моделям. Ведущие разработчики, включая OpenAI, пока не предоставили детальных комментариев по этому вопросу, но научное сообщество настаивает на необходимости сотрудничества и более прозрачных систем работы с научной информацией.

Эта ситуация вызывает серьезные опасения, так как ИИ всё активнее используется для научных обзоров и формулировок гипотез. Получение устаревшей или неверной информации может подорвать доверие к таким системам и привести к ошибкам как в научной, так и в прикладной сфере.

Что читать дальше

Подборка материалов по этой теме.

Сейчас читают

Материалы, которые чаще открывают сегодня.

Загрузка…

Ещё по теме

Продолжить чтение

Материалы, которые помогут не выпадать из темы.