Meta* и Эдинбургский университет представили революционный метод для анализа языковых моделей

Ученые из Meta* FAIR и Эдинбургского университета разработали метод, позволяющий не только оценивать, насколько адекватно языковая модель осуществляет рассуждения, но и вносить коррективы в случае ошибок. Этот подход, названный Circuit-based Reasoning Verification (CRV), основывается на исследовании «вычислительных цепей» — подграфов нейронов, отвечающих за скрытые алгоритмы внутри модели.

CRV строит граф вычислений модели и анализирует, какие связи между признаками активируются при решении конкретной задачи. Если эта структура указывает на сбой, метод фиксирует ошибку и сигнализирует о том, где именно произошел сбой вычислений. Фактически, это инструмент диагностики, который открывает внутренние механизмы модели и дает представление о том, почему она пришла к неверному выводу.

Чтобы сделать такую внутреннюю диагностику возможной, исследователи адаптировали архитектуру языковой модели, в частности, Llama 3.1 8B Instruct, заменив стандартные элементы трансформера на обученные транскодеры. Эти компоненты позволяют модели представлять промежуточные вычисления не как непрозрачные числовые векторы, а как набор разреженных признаков. В результате CRV получает возможность наблюдать, как информация перемещается внутри модели, и фиксировать характерные «отпечатки» правильных и ошибочных шагов рассуждения.

Meta* и Эдинбургский университет представили метод, который позволяет заглянуть внутрь LLM и исправлять её ошибки рассуждений
Иллюстрация: Gemini

На этом основании создается диагностическая модель, классифицирующая каждый шаг рассуждения как верный или ошибочный. В ходе экспериментов на синтетических и реальных задачах (логические, арифметические, GSM8K) CRV продемонстрировала более высокую точность по сравнению с существующими black-box и gray-box методами, ограниченными исключительно внешними проявлениями модели или простыми пробами активаций.

Ключевым достижением является то, что CRV не только фиксирует корреляции, но и выявляет причины ошибок. В одном из примеров система зафиксировала преждевременную активацию «умножающего» признака, из-за чего модель допустила ошибку в порядке операций. После корректировки этого признака модель правильно пересчитала выражение.

Анализ показал, что характер ошибок варьируется в зависимости от типа задачи: сбои в логических рассуждениях и арифметике проявляются в разных паттернах вычислений. Это означает, что диагностический классификатор необходимо обучать отдельно для каждого класса задач, в то время как транскодеры остаются универсальными.

Авторы считают CRV важным шагом к созданию «науки об интерпретируемом ИИ», где поведение моделей не только наблюдается, но и понимается. Это аналогично тому, как разработчики анализируют трассировку ошибок в обычных программах. Потенциально на базе CRV могут быть созданы «отладчики для ИИ», позволяющие разработчикам выявлять причины ошибок и вносить целевые исправления без полной переобучения модели.

Если такие инструменты станут распространены, языковые модели будут действовать более надежно, а также смогут самостоятельно корректировать свои рассуждения в случае возникновения логических ошибок — почти как люди.

* Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена

Что читать дальше

Подборка материалов по этой теме.

Сейчас читают

Материалы, которые чаще открывают сегодня.

Загрузка…

Ещё по теме

Продолжить чтение

Материалы, которые помогут не выпадать из темы.