Исследователи из Университета Лугано и Женевского университета разработали инновационный подход к анализу справедливости поисковых систем с использованием больших языковых моделей, таких как GPT-4o. Этот метод помогает выявлять гендерные предвзятости в ранжировании результатов поиска, даже если они не зафиксированы в тексте и не заметны традиционным метрикам. Это особенно актуально для решений, которые могут оказывать влияние на важные социальные сферы, такие как трудоустройство, выбор медицинской информации и образовательные рекомендации.
В своей работе учёные представили новую метрику, названную CWEx (Class-wise Weighted Exposure). Эта метрика учитывает не только количество документов, относящихся к различным гендерным категориям, но и их место в списке выдачи. Ранее подобные исследования лишь подсчитывали совпадения ключевых слов, связанных с мужчинами или женщинами. CWEx, в свою очередь, основывается на семантическом анализе и использует языковые модели для лучше понимания контекста и настроения материалов, что позволяет выявлять скрытую предвзятость, не выраженную напрямую словами.
Для проверки эффективности языковых моделей в определении гендерной предвзятости исследователи протестировали несколько алгоритмов, включая LLaMA, Qwen, Mixtral и GPT-4o. Лучшую точность продемонстрировала модель GPT-4o в режиме пошагового объяснения (Chain-of-Thought), правильно классифицируя свыше 90% документов. При этом она была способна уловить тонкие различия между нейтральными и предвзятыми текстами. Анализ показал, что наилучшие модели немного чаще точно определяли предвзятость против женщин, нежели против мужчин.
В ходе исследования были протестированы два набора текстов. Первый набор, Grep-BiasIR, включает 117 запросов с гендерным контекстом, таких как «хорошие профессии для женщин», и около 700 документов. Второй набор, MSMGenderBias, был собран и вручную аннотирован исследовательской командой. Все документы разделялись на три категории: нейтральные, с предвзятостью в сторону женщин и в сторону мужчин. В исследовании также участвовали 180 человек, которые оценили представленные тексты. Сравнительный анализ показал, что результаты, полученные с помощью GPT-4o, наиболее согласованы с мнениями людей.
Разработанный метод уже демонстрирует свою эффективность в тестах. CWEx позволяет анализировать не только количество, но и видимость материалов в выдаче. Это имеет особое значение для рекомендательных систем, платформ для найма и образовательных учреждений, где скрытая предвзятость может формировать общественные стереотипы и личные решения. Ученые отметили, что данный инструмент можно адаптировать к другим чувствительным характеристикам, таким как возраст и этническая принадлежность, с соблюдением необходимых условий настройки и аннотации.
Данное исследование поднимает значимые вопросы о прозрачности и ответственности алгоритмов искусственного интеллекта. Даже если модели следуют строгим математическим принципам, они могут отражать и усиливать социальные и культурные предвзятости. Применение языковых моделей для анализа служит важным шагом в понимании этих процессов и позволяет своевременно вмешиваться, чтобы предотвратить закріпление несправедливости вместо объективности.





