Skip to content

diffusion-motion-generation.md

Latest commit

 

History

History
187 lines (144 loc) · 20.5 KB

diffusion-motion-generation.md

File metadata and controls

187 lines (144 loc) · 20.5 KB
Raw
type method
tags
locomotion
diffusion
generative-model
humanoid
status complete
updated 2026-10-22
related
../entities/kimodo.md
../entities/kimodo-cpp.md
../entities/ardy.md
../entities/rigmo.md
../entities/generative-motion-rig.md
../entities/paper-scheduled-inpainting-gme.md
../entities/paper-muninn-trajectory-diffusion-acceleration.md
../entities/paper-motionspaceflow.md
../entities/paper-walk-like-this-stylized-locomotion.md
../entities/paper-molingo.md
../entities/paper-phygile.md
../entities/paper-partigen.md
../entities/paper-diffsheg.md
../entities/paper-mmhu.md
../entities/paper-cosmi.md
summary 利用扩散模型生成机器人全身运动序列，通过闭环微调解决分布偏移，实现复杂地形下的实时运动规划。

Diffusion-based Motion Generation (基于扩散模型的运动生成)

Diffusion-based Motion Generation：利用扩散概率模型（Diffusion Probabilistic Models）生成机器人关节空间或笛卡尔空间的连续运动序列，通常作为分层控制架构中的高层参考规划器。

一句话定义

利用扩散模型的去噪过程预测未来一段时间内的全身运动轨迹，为底层控制器提供具备地形感知能力的高质量参考动作。

核心原理

基于扩散的运动生成将运动预测视为一个去噪过程。给定当前状态 $s_t$ 和条件项 $c$（如地形信息、导航目标），模型学习从随机噪声中恢复出一段未来运动轨迹 $\tau = {q_{t+1}, \dots, q_{t+H}}$。

主要特点

  1. 多峰分布建模：能够捕获人类运动的多样性，解决传统确定性模型在复杂决策点的“均值平滑”问题。
  2. 长程一致性：相比于逐帧预测，轨迹生成能够保证运动在时间窗口内的物理连贯性。
  3. 条件约束：可以轻松整合地形图（Elevation Maps）、任务目标或文本指令作为生成条件。

语音驱动整体表情+手势（DiffSHEG，CVPR 2024）

DiffSHEG（arXiv:2401.04747）把扩散用在 共语 3D 表情（blendshape）+ 手势（轴角）联合生成：UniEG-Transformer 强制 表情→手势单向条件流 以匹配联合分布，测试时用 FOPPAS（Repaint 式 outpainting + DDIM25）做任意长、近实时流式采样（报告 ~31.5 FPS@3090）。产出是数字人/角色资产，进真机仍需 retarget + 跟踪——与下文 机器人原生 / 地形条件扩散规划 对照，同属「条件扩散运动生成」，但条件是语音而非地形或文本技能指令。

连续情感 V-A + 可组合潜扩散（PAMoR，UCL，arXiv:2608.28213）

PAMoR 在 Unitree G1 机器人特征空间 上把 效价–唤醒（V-A） 从姿态扩张与运动能量 闭式标定（无需人工情感标注），并用 三个独立扩散先验（文本动作 / 效价 / 唤醒）在共享 MVAE 潜空间 classifier-free 组合 实时自回归生成；相对 TextOp 情感 prompt（感知 Top-1 仅 chance）与 SMooDi 风格参考，V-A 命令 Top-1 0.384 接近人体表演基线。与 HIAER 对照：PAMoR 解决 生成器侧连续情感条件，HIAER 侧重场景 VLM 推断意图。截至 2026-09-01 未开源。

控制环内的生成式中间件（Heracles）

Heracles（arXiv:2603.27756）将 conditional flow matching 用作 tracker 与原始参考之间的中间层：状态贴近参考时残差≈0（近似恒等映射），大偏差时生成短视界恢复关键帧并 receding-horizon 重规划 后交给底层 RL tracker——区别于下文 ETH G1 地形条件扩散规划 + RL 跟踪 分层，但同属 生成参考 + 物理执行 家族。

文本→机器人原生生成 + GMT 闭环（PhyGile，arXiv:2603.19305）

PhyGile 针对 人体 text-to-motion 重定向 的物理不可行问题：用 TP-MoE 条件扩散 在 262D 机器人骨骼空间 从文本直接生成运动，以 physics-derived prefix 引导推理续写，并经 预训练 GMT 验证、闭环仿真精炼 与 prefix 阶段 GMT 微调 闭合生成–执行环。真机展示 breakdance、侧手翻、高踢与空中旋跳等 高动态全身 动作。与 Harmon 同属语言驱动人形生成，但 PhyGile 强调 robot-native 空间 与 跟踪器共训 而非人体先验 retarget。

多物体交互动作组合与接触引导（COSMI，arXiv:2610.03252）

COSMI 把扩散式人体动作生成扩展到 一个人同时与 1–5 个对象交互：训练数据由单物体接触片段按语义兼容和几何可行性组合而来；生成器用共享对象槽位和部位分配头，让对象按驱动关节的相对位姿或绝对位姿解码。采样末段的接触一致性梯度引导可缩小手物间隙并减少支撑脚滑动。它生成的是 SMPL-X 人体与物体轨迹，适用于交互动作合成研究；论文没有证明其输出可直接作为机器人控制策略。

部位感知共享表征与动作终止预测（PartiGen，arXiv:2610.13373）

PartiGen 沿语言条件人形生成路线，采取与 PhyGile 不同的重定向设定：在 HumanML3D→G1 的表示上，用固定解剖掩码对各身体部位的关节特征分别做注意力，再融合为一个共享全身潜变量；FK 监督约束运动学一致性，逐帧 EOS 在候选动作完整生成后选取结束帧。其生成参考由冻结 GRIT 跟踪器执行，不能与生成—控制联合训练路线混为一谈。论文报告 G1 基准 segment FID 3.165、时长 MAE 3.080 帧；真机测试经过仿真筛查和人工挑选，且截至 2026-10-14 未提供官方可运行代码。

语义对齐连续 latent + AR flow（MoLingo，CVPR 2026）

MoLingo（arXiv:2512.13840）把 人体 T2M 放在 连续运动 latent 上做 掩码自回归 rectified flow：用 BABEL 帧级文本训 语义对齐自编码器（SAE），并以 T5 多 token cross-attention 条件注入；HumanML3D（MARDM-67）上 FID / R-Precision 进入 SOTA，项目页演示 retarget → PHC tracker → Unitree G1。与 PhyGile 对照：MoLingo 仍是 人体先验 + 重定向跟踪，强项在 潜空间语义对齐与指令跟随；开源训推已放，G1 跟踪管线代码待发布。

交互式自回归扩散 + 长时域约束（ARDY，SIGGRAPH 2026）

ARDY（ACM TOG · SIGGRAPH 2026）把 自回归扩散 推到 交互帧率：混合 显式 root + 潜空间 body 表示，配合 两阶段 Transformer 去噪器 与 可变历史上下文，在 流式文本 prompt 下支持根部路点/轨迹、全身关键帧与稀疏关节目标——约束可落在 当前生成窗口之外 以达成长时域目标。项目页演示 ARDY + SONIC → Unitree G1 实时人形控制，与 Kimodo 的 离线高质量可控扩散 形成同生态 延迟档位 对照。部署侧对照：kimodo.cpp 把 Kimodo 去噪器迁到 C++/GGML（CPU 或 Vulkan），换无 Python 运行时，但 通用约束尚未移植。

结构感知 mesh 潜空间（RigMo）与 DCC 集成（Disney GMR）

RigMo（arXiv:2601.06378）从 无标注变形 mesh 序列 联合发现 Gaussian bones + SE(3) 运动（RigMo-VAE），再在结构感知 motion latent 上接 Motion-DiT 做稀疏帧补全——与假定预定义骨架的人体扩散（Kimodo/ARDY）正交，强调 可动画资产 而非交互文本控制。制片侧对照：Disney Generative Motion Rig（SIGGRAPH Talks 2026）把通用 betweener 嵌进 Blender 插件，用稀疏关键帧 / NMC / 噪声做 generative keyframing（插件未开源）；Scheduled Inpainting / GME（arXiv:2607.29133）则给出 training-free 推理编辑——用 schedule + 时空 mask 在预训练 IBMM/SF-control 上 保留并改写已有 MoCap（延长/拼接/合成，亦未开源）。

Walk Like This 把任意示例动作编码为风格条件，交给自回归扩散模型生成由速度指令约束的运动参考，再由 PPO tracker 跟踪到 G1。它展示生成模型可承担「风格化参考生成」，而低层 RL 负责物理可执行性；attention bias 可调风格强度，但会增加足滑。

Omni-modal 人形运动生成（OMG，清华 MARS Lab）

OMG 将 OMG-DiT 扩散 Transformer 作为 generator 层，把 语言 / 音频 / 人体参考 / 运动历史及零样本组合 实时转为 Unitree G1 可跟踪全身轨迹，再由 HoloMotion tracker 执行；配套 OMG-Data（约 1174.66 h，sim-in-the-loop 过滤）与 50M–1B scaling。与 ETH G1 的 地形条件规划、Heracles 的 recovery 中间件 对照，OMG 强调 多模态控制接口 + foundation 行为 与 运行时 modality switching。

真机全身感知 locomotion（ETH G1，arXiv:2604.17335）

Learning Whole-Body Humanoid Locomotion 将 MDM 式扩散生成器与 DeepMimic 式 RL 跟踪器 三阶段 耦合（数据增广 → 离线预训练 → 冻结生成器的闭环微调），在 Unitree G1 上实现 onboard LiDAR 地形感知下的箱攀、跨栏、楼梯与混合地形穿越；部署用 TensorRT 2 步去噪（~20 ms）+ 0.25 s receding-horizon 参考更新。量化上，在线生成 相对固定参考跟踪显著提升 OOD 障碍高度/偏航泛化，闭环微调 进一步提升耦合系统成功率。

RL + 生成式运动基元潜空间（DIMOS，ICCV 2023）

与扩散去噪不同，DIMOS 把 CVAE 运动基元的潜变量 当作 RL 动作，在 室内 3D 场景 上学 场景感知导航 + marker 引导坐/躺/站起；属于 生成先验 + 任务策略 家族，但面向 运动学 SMPL-X 角色填充 而非机器人地形规划。与本文 ETH G1 / Heracles 路线的对照：DIMOS 无扩散迭代延迟，强项是 人–家具交互序列 与 无需人体–场景配对轨迹。

主要技术路线 (以 ETH G1 为例)

  1. 输入表示：
    • 历史本体感受状态（Proprioception History）。
    • 目标指令（Yaw velocity, Heading）。
    • 局部地形扫描（Local Elevation Map）。
  2. 扩散生成架构：
    • 采用 1D CNN 或 Transformer 结构的骨干网。
    • 预测未来约 0.5s - 1.0s 的全身参考姿态。
  3. 闭环微调（Closed-loop Fine-tuning）：
    • 在仿真环境中，使底层 RL 策略在扩散生成器的“实时指导”下进行演练，学习适应生成器的噪声，解决分布偏移（Distribution Mismatch）问题。

关键挑战与解决方案

1. 分布偏移

  • 问题：扩散模型在离线数据上训练，但底层跟踪器（Tracking Controller）在执行时产生的细微偏差会导致生成器进入未见过的状态空间。
  • 方案：闭环微调，将生成器集成进仿真训练循环。

2. 推理延迟

  • 问题：扩散模型迭代次数多，计算量大。
  • 方案：
    • 收缩时界（Receding-horizon）更新：异步触发推理。
    • 加速库：使用 NVIDIA TensorRT 进行模型量化与推理加速。

英文缩写速查

缩写 英文全称 简要说明
RL Reinforcement Learning 通过与环境交互最大化长期回报来学习策略的范式
G1 Unitree G1 Humanoid 宇树入门级教育科研人形平台
CNN Convolutional Neural Network 卷积神经网络，处理图像/深度感知
SMPL Skinned Multi-Person Linear Model 常见人体参数化模型与重定向源
DiT Diffusion Transformer 以 Transformer 为骨干的扩散生成架构
HOI Human–Object Interaction 人与物体接触交互的技能场景
Locomotion Robot Locomotion 足式/人形等无轮移动能力的总称
Retargeting Motion Retargeting 将人体/动物动作映射到目标机器人骨架
PPO Proximal Policy Optimization 人形/足式 locomotion 中最常用的 on-policy 策略梯度算法

轨迹扩散规划的推理加速（Muninn，RSS 2026）

离线 RL 与构型空间 轨迹扩散规划器（如 Diffuser）与上文 运动生成 共享「逐步 denoiser」瓶颈。Muninn 提供 免训练包装层：probe 稳定性 + 采样器灵敏度 + conformal 预算，在 D4RL / MPD / EDMP 上最高约 4.6× 墙钟加速且可证相对全量教师的轨迹偏离界；与 ETH G1 式 训练期少步/闭环微调 正交，可叠在已有教师上。

参考来源

关联页面

  • 扩散模型（概念） — 通用扩散机制、调度/采样器与机器人迁移要点
  • Learning Whole-Body Humanoid Locomotion（ETH G1） — 地形条件扩散规划 + RL 全身跟踪，真机验证
  • OMG — omni-modal 生成器 + HoloMotion tracker，G1 真机多模态切换
  • Heracles — 控制环内生成式中间件（flow matching + tracking）
  • Generate, Track, Improve（GTI） — 双深度 flow matching 全身 plan + CLF-RL 跟踪；AWR 微调生成器（Caltech G1 真机；代码待发布）
  • PhyGile — 文本→262D robot-native 扩散 + GMT 生成–跟踪闭环
  • PartiGen — 解剖部位注意力 + 共享全身潜变量 + 帧级动作终止预测
  • MoLingo — 语义对齐连续 latent + AR flow 人体 T2M；retarget→PHC→G1
  • DiffSHEG — 语音→3D 表情+手势联合扩散（数字人资产；非机器人策略）
  • DIMOS — RL + CVAE 潜空间，室内人–场景交互运动合成（非扩散）
  • HY-Motion 1.0 — 十亿级 DiT+流匹配的人体文本→运动开源系列（腾讯混元）
  • MotionSpaceFlow — 直接在连续 motion space 上进行 representation-aware flow matching；支持全帧/关节推理期约束
  • DART（DartControl） — 自回归原语潜扩散 + 在线文本与空间控制（ICLR 2025，ETH）
  • Kimodo（实体页） — 文本 + 运动学约束的人形/人体运动扩散官方实现
  • kimodo.cpp — Kimodo 的 C++/GGML 本地运行时（CPU/Vulkan；约束未移植）
  • ARDY — 交互式自回归扩散 + 长时域约束（SIGGRAPH 2026）
  • RigMo — 无标注 mesh→Gaussian bones + Motion-DiT 潜空间生成
  • Generative Motion Rig（Disney） — DCC 集成的 generative keyframing（非新 backbone）
  • Scheduled Inpainting / GME — training-free 推理期 MoCap 编辑（IBMM/SF-control 上层）
  • Muninn — 轨迹扩散/扩散策略的免训练缓存加速与 conformal 偏差证书
  • Awesome Text-to-Motion（Zilize） — 人体文本–运动文献与数据集的 curated 入口（单人、无 HOI）
  • MMHU — 驾驶街景 text-to-motion 域差证据（通用 T2M FID 极高，微调后显著下降）
  • Humanoid Locomotion
  • Motion Retargeting
  • PPO
  • Probability Flow — 扩散模型的数学基础
  • Contact Dynamics