Ученые обнаружили в ИИ-моделях нейроны, подобные языковой сети мозга

Исследование языковых моделей и нейронов мозга

Ученые из Швейцарской политехнической школы Лозанны (EPFL) обнаружили, что в крупных языковых моделях (LLM) имеются специализированные элементы, которые аналогичны языковой сети человеческого мозга. Эти «языковые» нейроны играют ключевую роль в обработке текстовой информации, а их отключение приводит к значительному снижению способности моделей.

Команда из лабораторий NeuroAI и анализа естественного языка изучила 18 известных языковых моделей. Специалисты сравнивали активность нейронов во время обработки осмысленных предложений с реакцией на случайные наборы слов. Нейроны, которые проявляли наибольшую активность при осмысленных предложениях, были охарактеризованы как «языковые» — их количество оказалось менее 1% от общего числа, примерно 100 нейронов. Удаление этих элементов вызвало заметные трудности для моделей в генерации связного текста и при выполнении языковых задач, в то время как случайное отключение нейронов таких проблем не вызвало.

Методика исследования была заимствована из нейронауки, где аналогичные подходы помогают исследовать функции человеческого мозга. Ученые были удивлены тем, как простая техника, применяемая для анализа нейронов, оказалась столь эффективной для выявления ключевых компонентов в области искусственного интеллекта (ИИ). Это открытие облегчает понимание процессов обработки языка в моделях без применения сложных методов машинного обучения.

Кроме того, исследователи проверили наличие в моделях нейронов, отвечающих за логическое мышление или социальные взаимодействия, схожих с нейросетями мозга, связанными с теорией разума. В некоторых моделях такие элементы были обнаружены, в других — нет. Ученые намерены выяснить причины таких различий и их связь с процессами обучения моделей и используемыми данными.

В перспективе команда планирует провести изучение мультимодальных моделей, которые способны обрабатывать не только текст, но и изображения, видео и звук.

Что читать дальше

Подборка материалов по этой теме.

Сейчас читают

Материалы, которые чаще открывают сегодня.

Загрузка…

Ещё по теме

Продолжить чтение

Материалы, которые помогут не выпадать из темы.