Ему помогли обучение с подкреплением и знание физики.
Инженеры из Китая обучили своего человекоподобного робота Unitree G1 катанию на скейтборде с применением алгоритма HUSKY. В этом процессе они использовали математическую модель физики скейтборда и обучение с подкреплением. Робот способен отталкиваться одной ногой от земли, подобно настоящему скейтбордисту, развивать скорость, делать плавные повороты, наклоняясь под нужным углом, и сохранять равновесие во время движения. Препринт их исследования опубликован на arXiv.org, а подробности проекта можно найти на странице GitHub.
Создание робота, способного кататься на скейтборде, стало сложной задачей. В отличие от привычного перемещения по твердым поверхностям, в данном случае андроиду нужно управлять динамически нестабильной платформой на колесах. Хотя робособаки успешно осваивали этот трюк, человекоподобные роботы из-за высокого центра тяжести до недавнего времени сталкивались с трудностями. Основная проблема заключается в том, что традиционные методы управления, такие как управление на основе прогнозирующих моделей, часто упрощают эту задачу, предполагая статичную поверхность, тогда как скейтборд требует более тонкого подхода из-за своей подвижной природы.
Инженерная команда, возглавляемая Бая Чэньцзя (Chenjia Bai) из Института искусственного интеллекта, разработала систему управления HUSKY (HUmanoid SKateboarding sYstem), которая позволяет решить эту задачу. Она включает три ключевых компонента: отталкивание, руление и процесс перехода, когда робот переносит ногу, отталкивающуюся от земли, на доску. Каждая из этих фаз использует свои стратегические решения в рамках общего подхода к обучению с подкреплением.
В процессе разгона, когда робот стоит одной ногой на доске, а другой отталкивается, разработчики применили имитацию движений человека с помощью метода Adversarial Motion Priors. Этот метод позволяет роботу подражать движениям истинных скейтбордистов. Нейросеть оценивает, насколько движения робота схожи с реальными, что делает их более естественными и плавными, а также помогает сохранить равновесие при неполном контакте одной ноги с землей. В фазе руления, когда обе ноги расположены на доске, система строится на физической модели скейтборда с учетом кренов. Это позволяет роботу корректировать угол наклона для поддержания нужного направления. Награда за соблюдение расчетного крена ускоряет обучение и повышает точность маневрирования по сравнению с методами, не опирающимися на явные физические подсказки. Во время перехода HUSKY генерирует плавные кривые Безье, определяющие ключевые точки тела (ног, таза) от текущего положения к целевой позе, что помогает роботу избежать резких движений и потери равновесия.
В процессе обучения команда использовала алгоритм Proximal Policy Optimization с асимметричной схемой актор-критик в симуляторе Isaac Gym. Агент получал информацию о состоянии робота и скейтборда, стремясь максимизировать вознаграждение за точность исполнения и плавность движений. Для переноса навыков из виртуального мира в реальность авторы измерили физические параметры реальных скейтбордов и их реакцию на наклоны и колебания. Эти данные помогли настроить симулятор, что минимизировало разрыв между виртуальной и реальной физикой. Также в процессе обучения использовалась рандомизация параметров среды, чтобы повысить устойчивость поведения робота к внешним воздействиям.
Тестирование системы HUSKY на реальном роботе Unitree G1 подтвердило её эффективность. Робот успешно разгонялся, запрыгивал на доску, выполнял повороты и тормозил, оставаясь при этом в равновесии даже при внешних толчках. Он также способен адаптироваться к скейтбордам с разной жесткостью подвески. Сравнение с базовыми подходами показало, что разработанная методика обеспечивает более высокую стабильность, точность управления и естественность движений.
На данный момент робот ограничен полем зрения встроенных камер, что затрудняет надежное отслеживание положения скейтборда и взаимодействия колес с поверхностью. В будущем разработчики планируют улучшить систему зрения, чтобы робот смог корректировать свои действия, основываясь на визуальной информации о доске и поверхности дороги, а не только на проприоцептивных датчиках.
В 2024 году японские инженеры обучили человекоподобного робота Musashi с мускульно-скелетной конструкцией управлению автомобилем. Он мог менять направление движения, разгоняться до заданной скорости и тормозить при появлении пешеходов и других машин.





