ИИ МФТИ научился сохранять память в сотни тысяч раз дольше, чем раньше

Ученым из Московского физико-технического института удалось создать новую архитектуру искусственного интеллекта, которая в корне решает проблему катастрофического забывания. Этот эффект, когда ИИ быстро теряет ранее усвоенную информацию, ограничивает возможности машинного обучения. Как пишет Scientific Russia, новая модель позволяет сохранить данные в сотни тысяч раз дольше – прорыв, который открывает путь к созданию систем, способных непрерывно обучаться и адаптироваться к изменениям.

«Возможно, мы приблизились к разгадке того, как человеческий мозг совмещает обучение новому и сохранение старой информации», — говорит Сергей Лобов, ведущий научный сотрудник лаборатории нейробиоморфных технологий МФТИ. Он объясняет, что ключ к этому процессу — постоянное изменение нейронных связей, или ревайринг. Именно он отвечает за превращение кратковременной памяти в стабильные долговременные воспоминания.

По аналогии с тропой в лесу, нейронная сеть формирует в памяти «дорожки», но если на них постоянно вступать и топтать вокруг, следы быстро размокают и исчезают. В обычном искусственном интеллекте похожий эффект приводит к быстрой потере информации при обучении новым данным. Из-за этого получается, что ИИ не может эффективно реагировать на постоянно меняющиеся условия внешней среды.

Основу нового решения заложили принципы нейробиологии. Модель памяти построена на спайковой нейронной сети — особом типе искусственного интеллекта, который имитирует работу мозга. В нее интегрировали механизм ревайринга – перестройки связей, который дополняет классическое обучение с использованием временной пластичности, зависящей от порядка нейронных сигналов (STDP). Эта пластичность усиливает или ослабляет связи в зависимости от последовательности активации нейронов.

«Сеть сначала обучается под воздействием внешних сигналов — формируется кратковременная память. Затем внешний раздражитель исчезает, и система начинает работать самостоятельно, перестраивая собственную структуру», — поясняет Лобов. «Этот процесс, который мы назвали самоорганизованной консолидацией памяти, позволяет закрепить информацию надолго, преобразуя кратковременную память в долговременную устойчивую структуру сети».

Испытания подтвердили впечатляющий эффект: надежность памяти выросла в сотни тысяч раз. Если обычные сети забывали информацию уже после тысячи всплесков активности, новая архитектура сохраняла ее до 170 миллионов таких событий.

Еще одно важное открытие связано с появлением в сети так называемых «хабовых» нейронов. Один импульс такого нейрона способен вызвать волну синхронной активности у сотен соседних нейронов. В традиционных сетях количество таких узлов быстро сокращалось после обучения, а в сети с перестройкой связей их число не просто сохранялось, но и увеличивалось. Эти хабы могут служить устойчивым каркасом, обеспечивающим долговременное хранение информации.

На сегодня архитектура разработана в формате компьютерной модели. Следующий шаг — создание нейроморфных процессоров, которые смогут воплотить этот принцип в аппаратном обеспечении. Это откроет новые возможности для автономных ИИ-систем, способных к постоянному обучению и адаптации, будь то промышленные роботы, беспилотники или дроны.

Информация предоставлена пресс-службой МФТИ

Источник фото: ru.123rf.com

Что читать дальше

Подборка материалов по этой теме.

Сейчас читают

Материалы, которые чаще открывают сегодня.

Загрузка…

Ещё по теме

Продолжить чтение

Материалы, которые помогут не выпадать из темы.