ИИ проверил ИИ на правдивость

### ИИ выявляет ошибки других ИИ с помощью анализа ответов

Современные чат-боты, основанные на таких технологиях, как ChatGPT и Google Gemini, иногда дают неправдоподобные, но звучащие убедительно ответы на простые вопросы. Эти ложные, вымышленные ответы называются «галлюцинациями». Чтобы обнаружить такие ошибки, исследователи предлагают применять другую нейросеть, которая анализирует ответы первой.

### Проблема правдоподобия и необходимость проверки

По словам Себастьяна Фаркуара из Оксфордского университета, языковые модели не обучены высказывать именно правду, а формируют лишь убедительные словесные конструкции. Это создаёт риски, так как ИИ всё шире используется в важных сферах, таких как медицина и образование. Выявление галлюцинаций становится ключевым для повышения надёжности нейросетей.

### Метод измерения «семантической энтропии»

Учёный предложил проверять ответы ИИ, задавая один и тот же вопрос несколько раз и анализируя вариативность ответов с помощью второй нейросети. Эта вторая модель оценивает семантическую энтропию — уровень случайности и различия в смыслах ответов первой сети. Если формулировка отличается, а смысл остаётся одинаковым, значит, ответы надёжны. Если же ответы существенно разнятся по значению, скорее всего, ИИ выдаёт выдумки.

### Преимущества и ограничения метода

Новый подход достаточно легко интегрируется в существующие системы, однако он замедляет работу чат-ботов. Кроме того, если сеть настойчиво повторяет некорректную информацию, обнаружить ошибку с помощью этого метода не получится. Тем не менее, это важный шаг к улучшению качества и достоверности ответов искусственного интеллекта.

—

Источник: [naukatv.ru](https://naukatv.ru/news/ii_proveril_ii_na_pravdivost)

Что читать дальше

Подборка материалов по этой теме.

Сейчас читают

Материалы, которые чаще открывают сегодня.

Загрузка…

Ещё по теме

Продолжить чтение

Материалы, которые помогут не выпадать из темы.