Microsoft разработала новые инструменты для повышения конфиденциальности в LLM

Microsoft представила два новейших подхода к обеспечению конфиденциальности в больших языковых моделях (LLM): PrivacyChecker, являющийся модулем с открытым исходным кодом, и метод обучения CI-CoT + CI-RL. PrivacyChecker функционирует как «щит конфиденциальности» в процессе работы модели, а CI-CoT + CI-RL нацелен на обучение моделей критически относиться к информации.

Контекстуальная целостность и ее значение

Контекстуальная целостность рассматривает конфиденциальность как уместность информации в социальных взаимодействиях, что означает раскрытие только тех данных, которые необходимы для решения конкретной задачи, например, для записи к врачу. Исследователи Microsoft подчеркивают, что многие современные LLM не способны учитывать этот контекст и могут случайно разглашать конфиденциальные данные, что подрывает доверие пользователей.

PrivacyChecker — «щит» для моделей

Первый подход делает акцент на проверках во время работы модели. PrivacyChecker представляет собой механизм, который оценивает информацию на разных стадиях обработки запросов. Библиотека PrivacyChecker, созданная исследователями, интегрируется как с глобальными запросами, так и с отдельными вызовами инструментов, выступая в качестве шлюза для защиты от передачи конфиденциальной информации внешним системам.

Эффективность PrivacyChecker

Работа PrivacyChecker строится по простой схеме: он извлекает данные из пользовательского запроса, классифицирует их в соответствии с нормами конфиденциальности и, если необходимо, добавляет рекомендации для корректной обработки. Эта система не требует переобучения и может быть применена к любым уже существующим моделям.

Microsoft представила инструменты для защиты конфиденциальности в больших языковых моделях
Иллюстрация: Grok

Недавние тесты на статическом бенчмарке PrivacyLens показали, что PrivacyChecker удается уменьшить утечки информации с 33,06% до 8,32% при работе с GPT4o и с 36,08% до 7,30% на DeepSeekR1, и это всё при сохранении функциональности моделей.

Метод CI-CoT + CI-RL

Второй подход основан на применении метода «цепочки рассуждений» (CI-CoT), который в традиционном понимании помогает моделям лучше решать задачи. Однако Microsoft адаптировала этот метод, чтобы модели стали оценивать какие данные можно раскрывать, а какие следует скрывать. Пользователи могли направлять модель на определение необходимых атрибутов для выполнения задач, снижая риск ненужных раскрытий.

Хотя CI-CoT эффективно снижает утечки информации, он изначально проявляет тенденцию давать более консервативные ответы, иногда скрывая важные данные. Чтобы решить эту проблему, исследователи предложили этап обучения с подкреплением (CI-RL), где модель награждается за уместные ответы и «наказывается» за раскрытие ненужной информации. Это позволяет улучшить качество ответов, делая их более актуальными.

Комбинированный метод CI-CoT + CI-RL показывает такие же результаты по снижению утечек информации, как и CI-CoT, при этом сохраняя эффективность функционирования оригинальной модели.

Новая концепция конфиденциальности

Концепция контекстуальной целостности, развиваемая Google DeepMind и Microsoft, не рассматривает конфиденциальность как бесконечное право на секретность, а предлагает динамичный подход к раскрытию информации в соответствии с нормами контекста.

Что читать дальше

Подборка материалов по этой теме.

Сейчас читают

Материалы, которые чаще открывают сегодня.

Загрузка…

Ещё по теме

Продолжить чтение

Материалы, которые помогут не выпадать из темы.