Исследование выявило слабости ИИ Amazon в работе с разными английскими диалектами

Ученые из Корнеллского университета провели исследование, которое выявило значительные проблемы в работе искусственного интеллекта Amazon, используемого в качестве помощника для онлайн-покупок. В частности, ИИ демонстрирует трудности с обработкой запросов, составленных на разных английских диалектах, особенно на афроамериканском английском (AAE). Анализ показал, что при наличии таких диалектов и опечаток в сообщениях ИИ часто выдаёт неполные или ошибочные ответы.

Для оценки эффективности чат-ботов в нестандартных языковых условиях была разработана специальная методика. Это становится особенно актуальным, учитывая массовое внедрение разговорных ИИ-систем в сферы обслуживания клиентов. Эксперимент затрагивал работу чат-бота Rufus в приложении Amazon Shopping, который подвергся тестам на понимание пяти различных английских диалектов: афроамериканского, чикано-английского, аппалачского, индийского и сингапурского. Помимо диалектов, в тестах учитывались типичные ошибки ввода, такие как опечатки и неправильное использование пунктуации.

Результаты оказались показательными — Rufus значительно хуже справлялся с запросами на диалектах по сравнению с запросами на стандартном английском. Ошибки становились ещё более заметными при наличии опечаток. Так, например, на вопрос о стирке куртки в машине бот дал корректный ответ на стандартном английском, однако на афроамериканском варианте с более сокращённой формулировкой чат-бот нередко сбивался и предлагал нерелевантные товары, не отвечающие сути запроса.

Данные находки подчёркивают важность дальнейшей адаптации языковых моделей под разнообразие реального говорящего населения и необходимость улучшения способности искусственного интеллекта к пониманию и обработке региональных и неформальных диалектов для более точного взаимодействия с пользователями.

Источник

Что читать дальше

Подборка материалов по этой теме.

Сейчас читают

Материалы, которые чаще открывают сегодня.

Загрузка…

Ещё по теме

Продолжить чтение

Материалы, которые помогут не выпадать из темы.