| type | task | |||
|---|---|---|---|---|
| sources |
|
|||
| summary | ULTRA survey 汇总统一多模态 loco-manipulation 控制器的关键设计，是移动操作前沿路线的综述入口。 |
统一多模态控制：实现人形机器人自主全身移动操作
ULTRA 是一个统一的多模态控制器——有动作参考时能精确跟踪，没有参考时也能从第一人称视觉感知和简单的任务指令自主生成全身移动操作行为。
| 创新 | 描述 |
|---|---|
| Neural Retargeting | 一个 RL 策略搞定所有人类动捕→机器人动作的转换，保证物理可行性 |
| 双模式控制 | 同一个控制器支持"跟踪参考"和"自主行为"两种模式 |
| Latent Skill Space | 把大量运动技能压缩到低维隐空间（64维），方便高层策略调用 |
| Egocentric Perception | 从第一人称深度图感知环境，不依赖外部传感器 |
- 数据稀缺：人类动捕数据丰富，但人与机器人身体结构不同，简单 retargeting 产生物理不可行动作
- 技能扩展难：以前一个任务训一个策略，ULTRA 用统一策略处理所有动作
- 依赖预定义参考：ULTRA 支持从感知和高层指令自主生成行为，不需预录参考动作
- 训练一个神经网络策略，输入人类动捕动作，输出机器人关节指令
- 在物理仿真器（Isaac Gym）中训练，奖励包含：跟踪误差 + 物理稳定性 + 接触一致性
- 核心：一个策略处理所有动作，不需要每个动捕片段单独训练
- 通用跟踪策略蒸馏：Teacher-Student 蒸馏成统一模型
- 运动技能压缩到隐空间：VAE 把技能编码进 64 维隐空间
- RL 微调：增强 OOD 场景鲁棒性
- 域随机化（物理参数、观测噪声）
- 课程学习：从精确状态逐步过渡到第一人称深度感知
- 训练仿真器：Isaac Gym（GPU 并行）
- 验证仿真器：MuJoCo
- 真机平台：Unitree G1
- 数据集：OMOMO（人-物交互动捕，非 AMASS）
- 算法：PPO，Actor-Critic 分离，3层 MLP [1024, 1024, 512]
- Student 网络：Transformer（2层，4头）+ 64维隐变量 z + FiLM 调制
- Locomotion
- Whole-Body Control
- Imitation Learning
- Reinforcement Learning
- Unitree
- Isaac Gym / Isaac Lab
- Sim2Real
| 项目 | 链接 |
|---|---|
| arXiv | 2603.03279 |
| 项目主页 | ultra-humanoid.github.io |
| 发布时间 | 2026年3月3日 |
| 机构 | UIUC |
| 缩写 | 英文全称 | 简要说明 |
|---|---|---|
| Manipulation | Robot Manipulation | 抓取、移动、操作物体的任务总称 |
| Retargeting | Motion Retargeting | 将人体/动物动作映射到目标机器人骨架 |
| RL | Reinforcement Learning | 通过与环境交互最大化长期回报来学习策略的范式 |
| Isaac Gym | NVIDIA Isaac Gym | GPU 并行刚体仿真训练环境 |
| VAE | Variational Autoencoder | 变分自编码器，学习隐变量生成表示 |
| OOD | Out-of-Distribution | 分布外样本/未见场景，泛化评测关注点 |
| Sim2Real | Simulation to Real | 把仿真中学到的策略迁移落地真机的工程主线 |
| GPU | Graphics Processing Unit | 图形处理器，大规模并行仿真训练的算力基础 |
| MuJoCo | Multi-Joint dynamics with Contact | 接触丰富的刚体物理仿真引擎 |
| G1 | Unitree G1 Humanoid | 宇树入门级教育科研人形平台 |
| AMASS | Archive of Motion Capture as Surface Shapes | 大规模统一人体动捕数据集 |
| PPO | Proximal Policy Optimization | 人形/足式 locomotion 中最常用的 on-policy 策略梯度算法 |
| MLP | Multi-Layer Perceptron | 多层感知机，处理本体向量等低维输入 |
| Locomotion | Robot Locomotion | 足式/人形等无轮移动能力的总称 |
| Isaac Lab | NVIDIA Isaac Lab | 基于 Omniverse 的机器人学习训练框架 |
| IL | Imitation Learning | 从专家演示学习策略，奖励难定义时的主路线 |
| DAgger | Dataset Aggregation | 迭代收集策略诱导状态下的专家标注以纠偏的模仿学习方法 |
- ultra_arxiv_2603_03279.md
- ultra-humanoid-github-io.md
- arXiv: 2603.03279 — ULTRA 原论文
- ULTRA 论文实体页 — 完整机制、指标与复现路径（优先阅读）
- Locomotion — ULTRA 的运动控制子任务
- Loco-Manipulation — ULTRA 解决的核心任务类型
- Imitation Learning — ULTRA 基于 IL 框架
详细笔记（含面试高频问题、工程复现要点、DAgger 通俗解释）见：Robot_Learning_Paper_Notebooks