摘要：面向"从人类演示数据让机器人学习技能"的纵深路线，从时序建模基础到 ASE / Diffusion Policy，按 Stage 0–6 串通核心方法；本路线是 运动控制主路线 的一条分支。
flowchart LR
S0["<b>Stage 0</b><br/>时序建模基础<br/><em>LSTM / Transformer</em>"]
S1["<b>Stage 1</b><br/>BC / DAgger<br/><em>核心概念</em>"]
S2["<b>Stage 2</b><br/>Motion Retargeting<br/><em>MoCap → 机器人</em>"]
S3["<b>Stage 3</b><br/>Diffusion Policy<br/><em>生成式动作</em>"]
S4["<b>Stage 4</b><br/>Skill Embedding<br/><em>ASE / 对抗式</em>"]
S5["<b>Stage 5</b><br/>Sim2Real<br/><em>真机迁移</em>"]
S6["<b>Stage 6</b><br/>进阶方向<br/><em>Video / 多模态 / 长时程</em>"]
S0 --> S1 --> S2 --> S3 --> S4 --> S5 --> S6
classDef stage fill:#142a3a,stroke:#9b59b6,stroke-width:2px,color:#fff
class S0,S1,S2,S3,S4,S5,S6 stage
- 目标读者是有深度学习基础、想理解如何让机器人从人类演示中学习技能的人
- 重点不是理论证明，而是：从数据到策略的完整 pipeline
- 每个阶段都有前置知识、核心问题、推荐做什么、推荐读什么、学完输出什么
和主路线的关系：
- 模仿学习（IL）和强化学习（RL）在很多实际项目里是组合使用，不是非此即彼
- 本路径和 RL 纵深 在 Stage 3 之后有很多交叉
- 如果你不知道该走哪条，先走 IL 路径，因为它更容易出可感知的结果
如果已经有 PyTorch 熟练度和序列模型基础，可以跳过。
- Python 熟练
- 理解 MLP、loss、梯度反向传播
- 知道什么叫监督学习
- 序列数据（关节角、MoCap、动作）怎么用神经网络建模
- RNN / LSTM / Transformer 在时序建模上的核心区别是什么
- diffusion model 在生成式建模里是什么角色
- 用 PyTorch 跑一个 LSTM 预测简单时序数据的 Demo
- 对比 MLP 和 LSTM 在时序任务上的表现差异
- "Illustrated Guide to LSTM" (Google Blog)
- Transformer 与 Diffusion Model
- 跑通一个 Motion Transformer 官方 Demo（如果能访问）
- 能解释为什么时序数据需要特殊建模方法
- 能用 LSTM 对简单序列做预测
- Stage 0 内容
- 理解什么是监督学习
- Behavior Cloning 的核心思想是什么
- 为什么 BC 会有 compounding error（复合累积误差）
- DAgger 为什么能缓解 compounding error
- 模仿学习和强化学习的根本区别是什么
- 逆强化学习（IRL）和 BC 差在哪：学奖励还是学动作
- 用 BC 训练一个简单机械臂跟随演示轨迹
- 对比 BC 和 DAgger 在长时程任务上的效果差异
- "A Reduction of Imitation Learning and Stochastic Gradient Descent to Online Learning" (Ross & Bagnell, 2010)
- Imitation Learning
- Behavior Cloning 与 DAgger
- Inverse Reinforcement Learning — 演示 → 奖励 → 策略；GAIL 只匹配占用
- RL vs IL 对比
- 能解释 compounding error 是什么、为什么出现
- 能在简单任务里用 BC 训练一个可用的策略
这是人形机器人技能学习的核心技术：从人类动作到机器人动作。
- Stage 1 内容
- 理解 kinematics 和 inverse kinematics 基础
- 为什么不能直接把人类关节角度映射到机器人（骨骼结构不同）
- 怎么用 IK 或 learning-based 方法做 retargeting
- 人体动作数据的不同来源（MoCap、VRI、视频）各有什么优缺
- retargeting 后的数据还需要哪些后处理（时间对齐、重采样、姿态约束）
- 用一套 MoCap 数据，通过 IK 或 retargeting 方法迁移到人形机器人模型上
- 观察迁移后动作的可行性（关节限位、自碰撞、地面穿透）
- Motion Retargeting 与 Motion Retargeting Pipeline
- GMR vs NMR vs ReACTOR 重定向方案对比
- 人形参考动作数据集对比
- "ASE: Adversarial Skill Embeddings" (Peng et al., 2022) — 有 retargeting pipeline 描述
- 一段成功 retargeting 到人形机器人模型上的人类走路数据
- 对骨骼结构差异导致的问题有第一手直觉
Diffusion Policy 是 2023-2024 年在机器人模仿学习里最活跃的方向。
- Stage 2 内容
- 理解 diffusion model 的基本原理（不需要能写，但需要懂去噪过程）
- Diffusion Policy 和传统 BC 的核心区别是什么
- 为什么 diffusion model 在高维动作空间表现更好
- 怎么把视觉输入结合进 diffusion policy
- diffusion 采样时间过长怎么解决
- 用一个开源 Diffusion Policy 实现（如 RoboDiff、Diffusion Policy 官方）跑一个简单任务
- 对比 diffusion policy 和 LSTM BC 在同样任务上的效果
- "Diffusion Policy: Visuomotor Policy Learning via Action Diffusion" (Chi et al., 2023)
- Diffusion Policy
- Action Chunking 与 BC with Transformer — ACT 一系的核心机制
- Why Action Chunking Improves BC（CoRL 2026）— 消融拆穿"时序一致性/更短 horizon"两个常见假说，chunk 收益主因是延迟观测条件化 + 隐式集成；同一策略用 Randomized Delay Ensemble 部署即可匹配标准 chunk 执行，真机三任务验证
- Seeker — 冻结 DINOv3 + 动作监督 ROI，不靠 gaze/affordance/阶段提示逼近特权 Oracle（62.6 vs 64.2），同一 ROI 可跨 RGB/点云模态复用；MimicGen 62.6%，xArm 真机域内 76.7%/OOD 60.0%；MIT 已开源
- Revisiting Open-Loop Execution（MIT/Berkeley）— 与上一条对照：长 open-loop execution horizon 的主因是短上下文模仿非马尔可夫专家，足够上下文后闭环 reactive 反而最优；提出 double encoder 稳定长上下文 Diffusion Policy
- 一个用 Diffusion Policy 训练的动作策略
- 能解释 diffusion process 在机器人动作生成里的优势
单个技能会了，怎么让机器人同时掌握多个技能、并在新场景里组合？
- Stage 3 内容
- 什么是 skill embedding，为什么需要把技能压缩到隐空间
- 对抗式模仿学习（ASE / AMP）和普通 BC 的区别是什么；GAIL 来自 IRL 的占用匹配，不一定恢复任务奖励
- 怎么在一个隐空间里做技能插值和组合
- 为什么 latent variable 能帮助解决 compounding error
- 读懂 ASE 的方法 pipeline
- 在能找到的开源代码上跑一个 two-skill interpolation 实验
- ASE 与 AMP Reward
- Inverse Reinforcement Learning — MaxEnt / GAIL / AIRL，对抗模仿的理论前身
- Learning from Play (LMP)
- 人形 AMP / Motion Prior 综述地图 — AMP 家族全景
- CMP — 用高优势 rollout + demo 锚定的相关度，把 AMP/SMP 的任务无关先验软重权成上下文条件适配器；五任务回报与样本效率双升，参考失衡场景下 AMP 掉点 11.5% 而 CMP 仅 2.8%；截至 2026-08-18 无官方代码
- "Learning Latent Plans from Play" (Lynch et al., 2020)
- 能解释 skill embedding 的意义
- 对对抗式学习方法在机器人技能学习里的作用有直观理解
模仿学习训练的策略，迁移到真实机器人上会遇到哪些问题？
- Stage 4 内容
- 理解 sim2real gap 的基本概念
- IL 训练数据和真实机器人动作空间的差异怎么处理
- 观测空间不匹配（相机角度、传感器噪声）怎么处理
- 在线微调（online fine-tuning）对 IL 策略有没有用
- 怎么判断一个 IL 策略是"真的学会了"还是"在记忆演示"
- 给 Stage 2/3 训练的策略加动作空间噪声和观测噪声，观察鲁棒性
- 设计一个简单的 domain randomization 实验
- Sim2Real
- Domain Randomization
- SPD（CoRL 2026，斯坦福/MIT/Scale AI）— 仿真 VR 遥操作采 75 h on-embodiment 演示预训练扩散 Transformer，56-DoF 双臂灵巧手每任务仅 1–2 h 真机微调，五项任务均胜过从零 BC
- 对 IL 策略的 sim2real 差距有第一手认识
- 能设计针对性的 DR 实验来提升策略鲁棒性
- Stage 5 内容
方向 A：Video-based IL
- 用 RGB 视频而非 MoCap 做动作迁移
- 关键词：Pose estimation、Video imitation、Mimic-Video、WiLoR
方向 B：Multi-modal IL
- 结合视觉、触觉、力传感器做多模态技能学习
- 关键词：multimodal、haptic、视触融合
方向 C：Long-horizon 任务 / VLA
- 把多个技能串成一个长序列；用语言指令驱动技能组合
- 关键词：task planning、skill chaining、VLA、π0、χ₀/kai0（Model Arithmetic + Stage Advantage + Train-Deploy Alignment，π₀.₅ 微调双臂协同叠衣/挂衣相对 π₀.₅ 成功率约 +250%，24 h 连续自主运行，已开源）
方向 D：Humanoid 全身动作跟踪
- 走路、跑步、跳跃、平衡等全身技能跟踪
- 关键词：Whole-Body Tracking Pipeline、BeyondMimic、Sonic
- 选型参考：Query：人形动作跟踪方法选型
| 阶段 | 核心问题 | 知识页入口 |
|---|---|---|
| Stage 0 | 时序建模基础 | Transformer |
| Stage 1 | BC / DAgger | Behavior Cloning |
| Stage 2 | Motion Retargeting | Motion Retargeting Pipeline |
| Stage 3 | Diffusion Policy | Diffusion Policy |
| Stage 4 | Skill Embedding | ASE |
| Stage 5 | Sim2Real | Sim2Real |
- 完整成长路线参考：主路线：运动控制 → 物理智能全栈成长路线
- 相关纵深路线（按主题邻近，完整目录见 路线总览）：
- Imitation Learning
- Behavior Cloning
- DAgger
- Motion Retargeting
- "Diffusion Policy" (Chi et al., 2023)
- "ASE: Adversarial Skill Embeddings" (Peng et al., 2022)