Microsoft представила два новейших подхода к обеспечению конфиденциальности в больших языковых моделях (LLM): PrivacyChecker, являющийся модулем с открытым исходным кодом, и метод обучения CI-CoT + CI-RL. PrivacyChecker функционирует как «щит конфиденциальности» в процессе работы модели, а CI-CoT + CI-RL нацелен на обучение моделей критически относиться к информации.
Контекстуальная целостность и ее значение
Контекстуальная целостность рассматривает конфиденциальность как уместность информации в социальных взаимодействиях, что означает раскрытие только тех данных, которые необходимы для решения конкретной задачи, например, для записи к врачу. Исследователи Microsoft подчеркивают, что многие современные LLM не способны учитывать этот контекст и могут случайно разглашать конфиденциальные данные, что подрывает доверие пользователей.
PrivacyChecker — «щит» для моделей
Первый подход делает акцент на проверках во время работы модели. PrivacyChecker представляет собой механизм, который оценивает информацию на разных стадиях обработки запросов. Библиотека PrivacyChecker, созданная исследователями, интегрируется как с глобальными запросами, так и с отдельными вызовами инструментов, выступая в качестве шлюза для защиты от передачи конфиденциальной информации внешним системам.
Эффективность PrivacyChecker
Работа PrivacyChecker строится по простой схеме: он извлекает данные из пользовательского запроса, классифицирует их в соответствии с нормами конфиденциальности и, если необходимо, добавляет рекомендации для корректной обработки. Эта система не требует переобучения и может быть применена к любым уже существующим моделям.
Недавние тесты на статическом бенчмарке PrivacyLens показали, что PrivacyChecker удается уменьшить утечки информации с 33,06% до 8,32% при работе с GPT4o и с 36,08% до 7,30% на DeepSeekR1, и это всё при сохранении функциональности моделей.
Метод CI-CoT + CI-RL
Второй подход основан на применении метода «цепочки рассуждений» (CI-CoT), который в традиционном понимании помогает моделям лучше решать задачи. Однако Microsoft адаптировала этот метод, чтобы модели стали оценивать какие данные можно раскрывать, а какие следует скрывать. Пользователи могли направлять модель на определение необходимых атрибутов для выполнения задач, снижая риск ненужных раскрытий.
Хотя CI-CoT эффективно снижает утечки информации, он изначально проявляет тенденцию давать более консервативные ответы, иногда скрывая важные данные. Чтобы решить эту проблему, исследователи предложили этап обучения с подкреплением (CI-RL), где модель награждается за уместные ответы и «наказывается» за раскрытие ненужной информации. Это позволяет улучшить качество ответов, делая их более актуальными.
Комбинированный метод CI-CoT + CI-RL показывает такие же результаты по снижению утечек информации, как и CI-CoT, при этом сохраняя эффективность функционирования оригинальной модели.
Новая концепция конфиденциальности
Концепция контекстуальной целостности, развиваемая Google DeepMind и Microsoft, не рассматривает конфиденциальность как бесконечное право на секретность, а предлагает динамичный подход к раскрытию информации в соответствии с нормами контекста.







