ИИ открыл новый способ выявления гендерной предвзятости

Исследователи из Университета Лугано и Женевского университета разработали инновационный подход к анализу справедливости поисковых систем с использованием больших языковых моделей, таких как GPT-4o. Этот метод помогает выявлять гендерные предвзятости в ранжировании результатов поиска, даже если они не зафиксированы в тексте и не заметны традиционным метрикам. Это особенно актуально для решений, которые могут оказывать влияние на важные социальные сферы, такие как трудоустройство, выбор медицинской информации и образовательные рекомендации.

В своей работе учёные представили новую метрику, названную CWEx (Class-wise Weighted Exposure). Эта метрика учитывает не только количество документов, относящихся к различным гендерным категориям, но и их место в списке выдачи. Ранее подобные исследования лишь подсчитывали совпадения ключевых слов, связанных с мужчинами или женщинами. CWEx, в свою очередь, основывается на семантическом анализе и использует языковые модели для лучше понимания контекста и настроения материалов, что позволяет выявлять скрытую предвзятость, не выраженную напрямую словами.

ИИ научился ловить скрытую дискриминацию
Иллюстрация: Dalle

Для проверки эффективности языковых моделей в определении гендерной предвзятости исследователи протестировали несколько алгоритмов, включая LLaMA, Qwen, Mixtral и GPT-4o. Лучшую точность продемонстрировала модель GPT-4o в режиме пошагового объяснения (Chain-of-Thought), правильно классифицируя свыше 90% документов. При этом она была способна уловить тонкие различия между нейтральными и предвзятыми текстами. Анализ показал, что наилучшие модели немного чаще точно определяли предвзятость против женщин, нежели против мужчин.

В ходе исследования были протестированы два набора текстов. Первый набор, Grep-BiasIR, включает 117 запросов с гендерным контекстом, таких как «хорошие профессии для женщин», и около 700 документов. Второй набор, MSMGenderBias, был собран и вручную аннотирован исследовательской командой. Все документы разделялись на три категории: нейтральные, с предвзятостью в сторону женщин и в сторону мужчин. В исследовании также участвовали 180 человек, которые оценили представленные тексты. Сравнительный анализ показал, что результаты, полученные с помощью GPT-4o, наиболее согласованы с мнениями людей.

Разработанный метод уже демонстрирует свою эффективность в тестах. CWEx позволяет анализировать не только количество, но и видимость материалов в выдаче. Это имеет особое значение для рекомендательных систем, платформ для найма и образовательных учреждений, где скрытая предвзятость может формировать общественные стереотипы и личные решения. Ученые отметили, что данный инструмент можно адаптировать к другим чувствительным характеристикам, таким как возраст и этническая принадлежность, с соблюдением необходимых условий настройки и аннотации.

Данное исследование поднимает значимые вопросы о прозрачности и ответственности алгоритмов искусственного интеллекта. Даже если модели следуют строгим математическим принципам, они могут отражать и усиливать социальные и культурные предвзятости. Применение языковых моделей для анализа служит важным шагом в понимании этих процессов и позволяет своевременно вмешиваться, чтобы предотвратить закріпление несправедливости вместо объективности.

Что читать дальше

Подборка материалов по этой теме.

Сейчас читают

Материалы, которые чаще открывают сегодня.

Загрузка…

Ещё по теме

Продолжить чтение

Материалы, которые помогут не выпадать из темы.