Skip to content

Latest commit

 

History

History
435 lines (378 loc) · 38.8 KB

locomotion.md

File metadata and controls

435 lines (378 loc) · 38.8 KB
type task
tags
locomotion
bipedal
humanoid
rl
control
status complete
updated 2026-10-22
related
../concepts/whole-body-control.md
../concepts/sim2real.md
../methods/genetic-algorithm.md
../entities/paper-legged-robots-advances-challenges.md
../entities/paper-humanoidvln.md
../entities/paper-rma-rapid-motor-adaptation.md
../entities/paper-legged-load-adapt-unknown-dynamic-load.md
../entities/paper-amp-survey-08-more.md
../entities/paper-robogauge-moe-quadruped-locomotion.md
../overview/robot-opensource-algorithms-compendium-wechat.md
../entities/awesome-legged-locomotion-learning.md
../entities/awesome-legged-robot-learning-clearlab.md
../entities/paper-one-filter-ocr-quadruped-navigation.md
../entities/paper-se2-navigation-mesh.md
../entities/repo-go2-backflip.md
../entities/paper-adp.md
../concepts/state-estimation.md
../methods/reinforcement-learning.md
../methods/imitation-learning.md
../concepts/capture-point-dcm.md
../concepts/gait-generation.md
../concepts/footstep-planning.md
../concepts/terrain-adaptation.md
../concepts/contact-dynamics.md
../entities/unitree.md
../entities/unitree-ros.md
./ultra-survey.md
./manipulation.md
./loco-manipulation.md
./balance-recovery.md
../queries/humanoid-hardware-selection.md
../queries/humanoid-rl-cookbook.md
../concepts/planetary-roller-screw-humanoid-leg-actuation.md
../concepts/humanoid-knee-harmonic-drive-limits.md
../concepts/wheel-legged-quadruped.md
../entities/paper-locovlm.md
../concepts/wheel-legged-biped.md
../entities/tita-rl.md
../entities/wheel-legged-genesis.md
../entities/isaac-rl-two-wheel-legged-bot.md
../entities/paper-mujica-wheel-legged-multi-skill.md
../entities/paper-aware-wheeled-legged-reflexive-evasion.md
../entities/paper-umv-ultra-mobility-vehicle.md
../entities/quadruped-robot.md
../concepts/llm-robotics-control-interfaces.md
../entities/anthropic-embody.md
../entities/open-duck-mini.md
../entities/jumper-crab-robot.md
../entities/disney-holotile.md
../entities/disney-research-la.md
../entities/paper-digit-humanoid-locomotion-rl.md
../entities/paper-faststair-humanoid-stair-ascent.md
../entities/paper-explicit-stair-geometry-humanoid-locomotion.md
../entities/paper-e-sds-environment-aware-humanoid-locomotion-rl.md
./stair-obstacle-perceptive-locomotion.md
../entities/paper-cap-perception-blind-humanoid.md
../entities/paper-p3.md
../entities/paper-cassie-biped-versatile-locomotion-rl.md
../entities/paper-variable-stiffness-locomotion-rl.md
../entities/paper-cassie-iterative-locomotion-sim2real.md
../entities/paper-anymal-walk-minutes-parallel-drl.md
../entities/paper-walk-these-ways-quadruped-mob.md
../entities/paper-cassie-feedback-control-drl.md
../entities/paper-argus-dynamic-symmetry.md
../entities/paper-quadruped-torque-control-rl.md
../entities/paper-tan-quadruped-agile-locomotion-sim2real.md
../entities/paper-barkour-quadruped-agility-benchmark.md
../entities/paper-actuator-constrained-rl-high-speed-quadruped-locomotion.md
../entities/paper-hrl-stack-22-perceptive_humanoid_parkour.md
../entities/paper-variable-impedance-contact-rl.md
../entities/jackhan-walke3-e3-ecosystem.md
../methods/disney-olaf-character-robot.md
../entities/paper-ergocub-shared-embodied-intelligence.md
../entities/paper-egohtr.md
../entities/paper-learning-quiet-walking-aibo.md
sources
../../sources/papers/policy_optimization.md
../../sources/papers/state_estimation.md
../../sources/papers/rl_pd_action_interface_locomotion.md
../../sources/papers/multi-gait-learning.md
../../sources/papers/egohtr_arxiv_2607_13472.md
../../sources/papers/adp_arxiv_2607_03454.md
../../sources/papers/learning_quiet_walking_aibo_arxiv_2502_10983.md
../../sources/papers/p3_arxiv_2607_25541.md
../../sources/papers/genetic_algorithms_foundations.md
../../sources/papers/evolutionary_optimization_foundations.md
../../sources/papers/humanoidvln_arxiv_2608_12860.md
summary Locomotion 研究机器人如何稳定、高效地在不同地形上移动,是腿式与人形控制的核心任务页。

Locomotion

运动/行走:让机器人(尤其人形/足式)实现稳定、高效、多地形移动的能力。

一句话定义

让机器人在不需要轮子的情况下,用腿走路,而且走得稳、走得快、走得自然。

英文缩写速查

缩写 英文全称 简要说明
Locomotion Robot Locomotion 足式/人形等无轮移动能力总称
ZMP Zero Moment Point 足底支撑多边形内零力矩点,经典动态平衡判据
DCM Divergent Component of Motion 与 Capture Point 配套的质心发散分量,用于落脚调节
MPC Model Predictive Control 滚动优化质心/接触/足端轨迹的高层规划
WBC Whole-Body Control 全身 QP/HQP,协调多肢关节满足平衡与任务
RL Reinforcement Learning 从奖励直接学策略,常见 PPO 训行走/跑跳
AMP Adversarial Motion Prior 对抗运动先验,约束策略状态转移接近人类分布
PD Proportional–Derivative 关节位置/阻抗底层,策略常输出 setpoint 由其跟踪

任务边界

Locomotion 不是单个“会走路的策略”,而是一套闭环运动系统:把机体状态、接触状态、地形信息和目标速度/落脚点转成可稳定执行的关节指令。

视角 输入 输出 典型失败模式
任务层 目标速度、目标方向、地形约束 步态模式、落脚区域、速度跟踪目标 走得快但不可控,或只能在训练地形上工作
规划层 机器人状态、地形高度、接触约束 质心轨迹、足端轨迹、期望接触力 落脚点不可达、摩擦约束违反
控制层 参考轨迹、关节状态、接触估计 关节力矩、位置目标或 PD setpoint 抖动、打滑、膝盖过伸、接触切换失稳
学习层 奖励、示范数据、扰动分布 策略、价值函数、运动先验 reward hacking、sim2real 退化、动作不自然

闭环流程总览

flowchart TD
  cmd[目标命令<br/>速度 / 方向 / 任务]
  obs[传感器与地形观测]
  est[状态估计<br/>姿态 / 速度 / 接触]
  plan[步态与落脚规划<br/>CoM / footstep / contact]
  ctrl[控制器或策略<br/>MPC / WBC / RL]
  act[关节接口<br/>扭矩 / PD / 阻抗]
  robot[机器人与环境]
  metric[评价<br/>速度 / 能耗 / 稳定性]
  train[训练与调参<br/>reward / DR / curriculum]

  cmd --> obs --> est --> plan --> ctrl --> act --> robot
  robot -- 机载观测回流 --> obs
  robot --> metric --> train --> ctrl
Loading

阅读这张图时可以抓住两条主线:

  • 在线闭环:观测 → 状态估计 → 规划/策略 → 关节接口 → 机器人执行。
  • 离线迭代:真实或仿真 rollout 产生指标,再回到 reward、domain randomization、curriculum 和控制参数调试。

核心挑战

1. 平衡

人形机器人是天然不稳定的系统,必须主动维持平衡。

  • 静态平衡:重心在支撑多边形内
  • 动态平衡:ZMP(Zero Moment Point)条件
  • 接触力分配:多接触时的力分配问题

2. 接触切换

行走本质是不断在单脚支撑和双脚支撑之间切换,每次切换都容易失稳。

3. 高维动作空间

30+ 自由度,每次决策都要协调所有关节。

4. 地形变化

平坦、崎岖、不平整、楼梯——每种地形需要不同的步态策略。

  • 楼梯 / 越障纵深索引: 楼梯与障碍 Locomotion(感知/盲走中心节点) — 带/不带感知、上下楼梯与跑酷文献的 维护挂接点。
  • 楼梯与离散接触上的学习案例: FastStair(论文实体页) 归纳 arXiv:2601.10365:用 GPU 并行 DCM 落脚点离散搜索 在 Isaac Lab RL 中提供显式可行落点监督,再以 分速专家 + LoRA 融合 缓解保守性与全速域动作分布差异,在 LimX Oli 上给出高速上楼梯实机叙事。
  • 显式楼梯几何条件化: Explicit Stair Geometry Conditioning(论文实体页)(arXiv:2605.09944)从点云 BEV 预测 踢面高度 / 踏面深度 / 航向 / 楼梯状态 四维 token,直接条件化 PPO;在 Unitree G1 上零样本实机,户外 连续 33 级 上楼,训练分布外踢面高度优于视觉 MoRE 基线。
  • Spot 平地 velocity 零样本部署: NVIDIA Isaac Lab Spot locomotion Sim2Real — Researcher Kit + Isaac-Velocity-Flat-Spot-v0 + RSL-rl PPO → Jetson Orin ONNX + spot-rl-example;教程级对照 Spot 分布距离 Sim2Real 论文。
  • 四足 Sim2Real 可预测性: RoboGauge(RSS 2026)用跨 Isaac Gym→MuJoCo 指标在真机前选 MoE checkpoint;配套 GO2 Backflip 开源栈展示高动态相位条件 PPO 部署链。
  • 四足安全导航: One Filter OCR(TRO 2026)在任意 locomotion 外挂 HJ 可达性安全滤波;全局规划侧见 SE(2) NavMesh(yaw-aware 窄通道导航)。
  • 四足真机安全微调: SLowRL(论文实体页)(arXiv:2603.17092)在 Unitree Go2 上对 jump/trot 做 冻结主策略 + rank-1 LoRA + Recovery 安全滤波 真机 PPO 微调,相对全参微调显著降摔倒与墙钟时间(见 Sim2Real)。
  • Go2 视觉 egocentric 零样本: SDPG(视觉 RL)(arXiv:2605.26478)用 RealSense 深度 端到端 on-policy 训崎岖地形/楼梯导航,仿真 <2 h 单 GPU → 真机零样本(对照 GR00T Visual Sim2Real 的 teacher-student 蒸馏路线)。
  • 家用四足低噪行走: Learning Quiet Walking(aibo)(arXiv:2502.10983,ICRA 2025)用仿真 足端接触速度 作声学代理,配合可变 PD 与开关接触,真机安静度优于索尼商用 quiet 控制器(与人形 QuietWalk GRF 对照)。
  • 轮足多技能盲走: MUJICA(论文实体页)(arXiv:2605.13058)在 Go2-W 上用 单策略 + 技能选择器 联合全向移动、高台攀爬与摔倒恢复,并以 DC 电机 P3O 约束 零样本上真机(1 m 高台)。
  • 轮足高动态反射避障: AWARE(arXiv:2604.23761)在 M20 上用分层 RL + 双专家硬切换做快速障碍反射规避(导航全向 / 高动态逃逸),Isaac Lab 与真机抛箱/棍戳/脚踢验证。
  • 轮腿双足开源训练栈: 轮腿双足 汇总 TITA / Flamingo / CJ-003;官方 Gym 入口 tita_rl,Lab 扩展 lab.flamingo,Genesis 入口 wheel_legged_genesis。
  • 单轨自行车的动态越障: UMV 以可动高位质量与约束 PPO 学习 track-stand、后轮兔子跳、越障跳跃和前空翻,可对照多轨轮腿构型理解动态稳定策略。

5. 状态估计与延迟

足式机器人在接触切换时很难直接观测机身速度和足端滑移;IMU、编码器、足端接触和视觉地形之间还存在时间同步与延迟问题。状态估计偏一点,控制器可能表现为“突然踢地”“脚底打滑”或“落脚点漂移”。

6. 仿真到真实

仿真里的摩擦、执行器带宽、关节间隙、地面柔顺性都比真实世界干净。只在仿真指标上最优的策略,常在真实机上因动作高频、冲击过大或接触模型偏差而退化。

子问题地图

子问题 要回答的问题 常见方法 对应页面
平衡稳定 机器人被推、落脚偏差时如何不摔 ZMP、Capture Point / DCM、step adjustment、WBC Capture Point / DCM、Balance Recovery
步态生成 何时抬脚、落哪里、摆腿轨迹如何生成 CPG、参数化步态、MPC、RL gait command Gait Generation、Footstep Planning
全身协调 腿、躯干、手臂如何共同满足平衡与任务 WBC、centroidal dynamics、QP 优先级 Whole-Body Control、MPC-WBC Integration
接触建模 支撑脚、摩擦锥、冲击和滑移如何处理 contact dynamics、friction cone、impedance control Contact Dynamics
地形适应 楼梯、斜坡、碎石地如何转成可执行动作 高程图、落脚点评分、teacher-student、盲走鲁棒策略 Terrain Adaptation
数据与学习 如何获得自然、多样、可迁移的运动 RL、IL、AMP、motion retargeting、curriculum Reinforcement Learning、Imitation Learning
真机部署 如何让策略在硬件上稳定运行 domain randomization、系统辨识、低通滤波、PD/阻抗接口 Sim2Real、Kp/Kd 设置 query

主要方法路线

传统控制路线

  • ZMP + 预观控制:经典人形行走(Honda ASIMO)
  • LIP + 步长调节:简单高效的行走控制
  • Hybrid Zero Dynamics:考虑机器人动力学结构的步态生成
  • MPC + WBC:高层用简化动力学预测质心/接触,低层用 QP 或层级 WBC 跟踪全身任务。

学习路线

  • RL from scratch:直接在仿真里训,不需要人工步态设计。
    • 代表:PPO 训四足/双足行走(Legged Gym, IsaacGymEnvs)。
    • 新趋势:BRRL / BPO (2026) 在 IsaacLab 环境下报告了比 PPO 更稳健的 locomotion 训练表现。
    • FlashSAC(arXiv:2604.04539):高 DoF 人形盲行走 sim-to-real 墙钟可较 PPO 缩短约一个数量级(见 FlashSAC 方法页)。
  • IL + RL:用 MoCap 数据初始化,再用 RL 提升。
    • 代表:DeepMimic, AMP
  • Multi-Gait Learning (多步态学习):在一个统一的 RL 框架下训练多种步态。
    • 新趋势:使用 Selective AMP (选择性 AMP) 策略,对周期性步态(如行走、上楼梯)应用 AMP 以提高稳定性,对高动态步态(如跑、跳)则省略 AMP,避免正则化过度约束。
    • SD-AMP(arXiv:2605.18611):训练期用投影重力门控在 recovery / 速度条件 locomotion 两个 AMP 判别器间切换,部署单策略覆盖走、跑与起身(见 SD-AMP 实体页)。
    • ADP(arXiv:2607.03454):对抗先验目标从运动学风格改为 SRBD-TO 动力学时间窗(CoM/动量/接触),强化推扰恢复;见 ADP 实体页。
    • HoST(arXiv:2502.08378):无 MoCap 参考的纯起身技能,多 critic + 四地形课程 + 真机运动约束,G1 室内外与俯仰卧验证(见 HoST 实体页)。
  • 世界模型:学习环境模型,在模型里规划。

混合路线

实际系统常把传统控制和学习策略组合起来,而不是二选一:

  • RL policy + PD/阻抗底层:策略输出关节位置增量或期望角度,PD/阻抗层保证高频执行稳定。
  • MPC/WBC baseline + learned residual:模型控制提供安全可解释的主干,学习模块补偿摩擦、冲击或模型误差。PhyFilter 把残差送进物理低通滤波,平地 RL 策略可泛化到未见真机地形(arXiv:2608.22701)。
  • Teacher-student / privileged learning:训练时 teacher 使用高度图、真实速度等 privileged information;部署时 student 只用机载传感器。经典 在线适应 实例:RMA(特权 extrinsics → 历史 $\hat{z}_t$ 估计,A1 零微调)。箱载动态载荷 实例:Legged Load Adapt(load characteristics 特权 + concurrent estimator,Go2 零样本)。
  • Motion prior + task RL:先用 MoCap/视频/重定向得到自然运动先验,再用任务奖励获得速度、转向和地形适应能力。
  • LLM 高层摇杆(非力矩): Embody 表明通用语言模型 直接力矩控 Go2/G1 几乎失败(人形倒塌站起 0 成功),但接到预训练步态后能做简单寻的;空间记忆与开环长计划仍系统性失败。见 LLM 控制接口。不要把聊天模型当低频 WBC。

方法选型速查

目标 优先路线 关键验证
离线优化低维步态/轨迹参数 遗传算法(GA) 或 CMA-ES / DE;如 坡面双足 GA 案例 多种子与未见地形、约束违反率、仿真到真机偏差;离线搜索不等同闭环策略学习
做可解释、约束清晰的研究 baseline LIP/ZMP 或 MPC + WBC 轨迹跟踪误差、摩擦锥、力矩限幅是否满足
快速得到四足/人形平地移动策略 PPO/BRRL + PD action interface 随机扰动、不同速度命令、不同摩擦地面上的成功率
追求人形动作自然性 IL/AMP/Selective AMP + RL fine-tuning 与示范动作相似度、能耗、摔倒率
复杂地形与楼梯 地形感知 + footstep planning 或 teacher-student RL 未见地形、感知延迟、落脚点可达性
真机部署 Sim2Real + 系统辨识 + 动作平滑 长时间运行、温升、电流峰值、恢复站立能力

评价指标

  • 行走速度:m/s
  • 能耗效率:J/kg/m 或 Cost of Transport (CoT)
  • 地形适应能力:是否能处理楼梯、不平整地面
  • 稳定性:摔倒频率
  • 运动自然性:和人类步态的相似度
  • 泛化能力:能否迁移到未见过的地形
  • 命令跟踪误差:目标速度/角速度与实际速度的误差
  • 硬件安全裕度:关节力矩、电流、温度和冲击峰值是否留有余量
  • 敏捷课一体化分数(研究基准):例如 Barkour 将 多障碍序列 + 计时扣分 压成 0–1 敏捷分,便于对比 专长切换 vs Transformer 通才 与 sim2real 管线。

上面这些指标怎么读、和跟踪误差类/求解类/硬件类指标怎么分工,见 运控模型评测指标。

工程落地检查

  1. 先定义动作接口:策略输出扭矩、关节位置、位置增量还是阻抗参数,会直接决定训练难度和真机风险。
  2. 先做站立与恢复:能稳定站立、被推后恢复、跌倒后安全停机,再进入高速步态。
  3. 把评测分层:仿真看成功率和能耗;半实物看延迟和电流;真机看温升、冲击和长时间稳定性。
  4. 保存失败 rollout:摔倒、打滑、膝盖反关节、脚底震荡等失败样本比平均 reward 更能指导下一轮改动。
  5. 不要只调 reward:很多问题来自状态估计、动作滤波、PD gain、接触模型或 actuator lag,不能全部用奖励函数掩盖。

RL + 底层 PD / 阻抗 / 扭矩接口(论文实体子页)

下列页面各含 提炼正文 + Mermaid,对应 RL+PD 动作接口论文索引 中的十一篇;与 Kp/Kd 设置 query 交叉阅读。

参考来源

关联系统/方法

关联任务

继续深挖入口

如果你想沿着 locomotion 继续往下挖,建议从这里进入:

论文入口

Benchmark 入口

开源项目 / 框架入口

关联页面

推荐继续阅读