Учёные Массачусетского технологического института (MIT CSAIL) представили инновационную систему управления роботами, получившую название «Нейронные Якобиановые Поля» (NJF). Эта методика позволяет роботам самостоятельно обучаться управлению своим телом, опираясь исключительно на визуальные данные с камер, без необходимости в сложных датчиках или заранее определённых моделях. По словам ведущего исследователя Сижэ Лестера Ли, аспиранта MIT CSAIL, «Эта работа — шаг вперёд от программирования к обучению». Роботу достаточно показать требуемые действия, и он самостоятельно освоит, как достичь нужного результата.
Суть NJF заключается в революционном подходе к созданию робототехнических систем. В традиционной практике роботы конструируются с жёсткой структурой и многочисленными датчиками для создания точной цифровой модели. Однако данный метод неэффективен для мягких или нестандартных роботов. NJF даёт возможность делать таким устройствам самостоятельно формировать модель своего тела, опираясь на наблюдения. Это освобождает разработчиков от необходимости заниматься сложным моделированием и управлениями, позволяя им сосредоточиться на создании новых и необычных форм роботов. Процесс обучения можно сравнить с тем, как люди учатся управлять своими пальцами: робот выполняет случайные движения, анализирует результаты и корректирует свои действия.
Новая система была успешно протестирована на различных роботах, среди которых пневматическая мягкая роботизированная рука, жёсткая рука Allegro, 3D-печатное роботизированное плечо и вращающаяся платформа без встроенных датчиков. В каждом из этих случаев NJF смогла определить форму робота и его реакции на управляющие сигналы, используя только видеоданные и случайные движения. Основой системы является нейронная сеть, которая выявляет связи между трёхмерной геометрией робота и его реакциями на команды. NJF применяется принцип нейронных полей излучения (NeRF), адаптируя его для изучения как формы робота, так и якобианового поля, предсказывающего движение любой точки тела робота в ответ на сигналы двигателей.
Обучение проходит без вмешательства человека и заранее заданной информации о конструкции робота. Робот выполняет случайные движения, фиксируемые несколькими камерами, а система сама анализирует связь между сигналами и движениями. После завершения обучения робот может использовать всего одну камеру для управления в реальном времени. Эти особенности и высокая скорость обучения делают NJF более эффективной в сравнении с физическими симуляторами для мягких роботов, которые зачастую являются слишком ресурсоёмкими для оперативного применения. Даже простые 2D модели пальцев и ползунков смогли обучиться такому отображению, используя лишь несколько примеров.
Потенциал системы NJF в практическом применении огромен. Роботы на основе этой новой технологии смогут выполнять сельскохозяйственные задачи с точностью до сантиметра, эффективно работать на строительных площадках без использования сложных датчиков и передвигаться в динамических средах, где классические методы не справляются. На сегодняшний день, хотя для обучения NJF требуется несколько камер и процесс обучения необходимо проводить для каждого робота отдельно, исследователи уже работают над более доступной версией. В будущем пользователи смогут просто снимать движения робота с помощью мобильного телефона и использовать эти видео для создания модели управления без необходимости в специальном оборудовании или предварительных знаниях.





