index.md

Robotics Notebooks Index

本项目以运动控制为切入口，通通向机器人全栈工程能力。

这是知识入口总索引。如果你第一次来，从 README 开始，那里有完整的使用说明。

---

快速入口

你的目标	从这里进入
想有一条学习路线照着走	主路线：运动控制 → 物理智能全栈成长路线
想遥操作人形采集数据（全身 + 手指）	遥操作纵深路线
想设计力矩控制关节电机	力矩电机设计纵深路线
想学传统模型控制（MPC/WBC）	传统控制纵深路线
想设计人形整机硬件（机械 + 电气 + 通信）	整机硬件设计纵深路线
想学安全控制（CLF/CBF）	安全控制纵深路线
想让研发闭环自己变强（递归自我改进）	RSI 纵深路线
想做接触丰富的操作任务	接触操作纵深路线
想让机器人自主从 A 到 B	导航纵深路线
想给策略挑网络结构（骨干 / 动作头 / 多模态基座）	模型架构纵深路线
想学模仿学习与技能迁移	模仿学习纵深路线
想用强化学习做 locomotion	RL 纵深路线
想让机器人边走边动手	Loco-Manipulation 纵深路线
想让机器人追球射门打比赛	人形足球纵深路线
想把人体动作变成机器人参考轨迹	动作重定向纵深路线
想让一群人形同台跳舞变队形炫技	人形群控展演纵深路线
想让一个策略适配不同本体（换夹爪 / 换机型 / 换形态）	跨本体迁移纵深路线
想让仿真训好的策略稳上真机	Sim2Real 纵深路线
想让两台人形在擂台上对打	人形拳击纵深路线
想让机器人读完一条示范就会新任务	ICL 纵深路线
想做人形全身行为基础模型	BFM 纵深路线
想证明/证伪一个具身模型（含运控模型）到底好不好	具身模型测评纵深路线
想让机器人看地形越障	感知越障纵深路线
想用生成模型造人形动作	动作生成纵深路线
想让机器人听懂指令干活	VLA 纵深路线
想沿 Diffusion Policy → DiT → Flow → GR00T 读动作生成演进	扩散与流匹配策略（Diffusion & Flow Matching）
想把真实世界变成可训练/可评测的仿真资产	Real2Sim 纵深路线
想为具身模型建一条可交付的数据供给管线	具身数据纵深路线
想让策略预知动作如何改变世界	WAM 纵深路线
想理解 Physical AI 的定义、闭环与技术版图	Physical AI 总览
想看知识概念和方法	浏览完整页面目录
想看模块关系和依赖	tech-map 总览
想浏览 CAE/CFD 代理工具与技能项目	CAE/CFD 项目总览

纵深路线按各方向起点里程碑的历史顺序排列，排序依据见 README 与 roadmap 总览。

---

四个模块的分工

如果你想知道每个目录负责什么：

wiki/ — 结构化知识页

回答"某个概念或方法是什么"。

重点页面：

• Optimal Control (OCP)
• LIP / ZMP
• Centroidal Dynamics
• TSID
• Whole-Body Control
• State Estimation
• System Identification
• Floating Base Dynamics
• Contact Dynamics
• Capture Point / DCM
• Sim2Real
• Reinforcement Learning
• Imitation Learning
• Inverse Reinforcement Learning（从演示推断奖励再交给 RL；MaxEnt / GAIL / AIRL）
• Cartpole 问题（倒立摆小车：CartPole-v1 与 Isaac-Cartpole-v0 对照）
• Residual Policy Learning（base + 残差统一框架：经典 RPL/Residual RL → RFC → Versatile Jumping → G1 上 RuN/ResMimic 九篇谱系）
• AI 架构地图（前馈 / 空间 / 序列 / 生成 / 图 / 决策六支：MLP→VLA 骨干选型）
• PyTorch
• TensorFlow
• 世界模型功能分类（Renderer / Simulator / Planner）（Fei-Fei / World Labs：按 POMDP 输出消歧；上海人工智能实验室补表征轴）
• World Action Models（WAM）（联合未来–动作分布的具身策略范式；综述与 Awesome-WAM 资源入口）
• Pelican-Unified 1.0（UEI）（Qwen3-VL 推理末态 (z) + Wan 系 UFG：同一扩散去噪联合未来视频与动作；arXiv:2605.15153）
• mimic-video（VAM）（互联网视频潜计划 + 流匹配动作解码；arXiv:2512.15692）
• DeFI（解耦前向/逆动力学 VLA）（GFDM + GIDM 分阶段预训练；arXiv:2604.16391）
• MINT（Mimic Intent, Not Just Trajectories）（RSS 2026：频域意图分词 + 单样本迁移；arXiv:2602.08602）
• EgoScale（2 万小时级 egocentric 人视频预训练 VLA + 对齐 mid-training；arXiv:2602.16710）
• EgoVerse（联盟式 egocentric 人示教活数据集 + 跨实验室人→机共训研究；arXiv:2604.07607）
• ENPIRE（coding agent 真机策略自改进闭环：EN–PI–R–E 四模块 + AutoEnvBench；NVIDIA GEAR 2026）
• Model Predictive Control (MPC)
• Trajectory Optimization
• Locomotion
• WBC vs RL
• Isaac Gym / Isaac Sim / Isaac Lab（总览）
• Isaac Sim · Isaac Lab · Isaac Gym
• NVIDIA Getting Started With Isaac Lab（官方 RL 入门四模块：Cartpole → UR10 reach → sim-to-real 分类）
• Robotic World Model（ETH RSL，RWM / RWM-U）（Isaac Lab 扩展 + Lite 离线仓；集成 RNN 动力学与想象 rollout 的 MBRL 参考实现）
• SAGE（执行器 Sim2Real 间隙估计）（Isaac 重放与真机对齐、关节级 gap 指标与成对数据）
• Genesis (仿真器)
• OmniSim（Webots 独立 fork：HTTP/MCP 驱动、Newton 唯一物理）
• MuJoCo
• dm_control / Control Suite
• MuJoCo MJX（JAX/XLA 版 MuJoCo，GPU 批量与可微 rollout）
• NVIDIA Warp（warp-lang：Python JIT 到 CPU/CUDA；Newton / MJWarp 计算底座）
• MuJoCo Warp（GPU 版 MuJoCo；Newton 主要刚体后端，Warp AD 未通）
• Brax（JAX 可微物理与 RL 训练；与 MJX、MuJoCo Playground 的官方组合指引）
• legged_gym
• Pinocchio
• AprilTag
• Agent Reach（编码代理互联网接入脚手架：CLI + doctor + 可插拔渠道；上游 yt-dlp / gh / MCP 等）
• AnyGrasp（抓取感知 SDK）
• MoveIt 2（ROS 2 机械臂运动规划、Planning Scene、OMPL/Pilz/CHOMP 与 MTC pick-and-place）
• Grasp Pose Estimation（抓取位姿估计）（6-DoF 抓取检测谱系：GraspNet → Contact-GraspNet → GSNet/Graspness/AnyGrasp，含点云/RGBD 输入与评测指标）
• Crocoddyl
• cuRobo
• Unitree
• 市面知名机器人平台纵览（人形 / 四足高频品牌索引）
• 机器人开源宝库（微信策展第01期）（10 个开源整机/平台：傅利叶 N1、智元 X1、天工、ODRI、BHL、Orca、TurtleBot3、ROBOTIS 等）
• 机器人开源宝库（微信策展第02期）（Reachy2、Poppy、InMoov、Doggo/Pupper、myCobot 320、myAGV、TidyBot2、Kinova Gen3、Franka R3、PAROL6）
• 四足机器人（Quadruped Robot）
• 轮足四足机器人（四轮足）（Go2W 类混合滚动–步态）
• 轮腿双足（双轮足）（TITA / Flamingo / CJ-003：两轮倒立摆 + 可调腿长）
• MotionCode™（人体运动数据与 Mind 线人形训练叙事）
• HumanNet（百万小时级人中心视频语料；VLA/IL 人类侧预训练参照）
• Xiaomi-Robotics-0（小米开源 VLA；Qwen3-VL + DiT flow matching，异步 action chunk 部署）
• Xiaomi-Robotics-U0（小米 38B 统一具身合成世界基础模型；多视角场景/迁移/视频 + 策略数据增广）
• Project Instinct（人形全身动态控制研究站群：接触丰富 Shadowing、感知跑酷、野外徒步）
• 人形腿部行星滚柱丝杠直线驱动（PRS）（Optimus 类腿部直线执行器 + 连杆：负载/自锁/力控 vs 动态带宽的权衡）
• 人形机器人并联关节解算（闭链踝、力分配与仿真接口分层）
• 文字生成 CAD（Text-to-CAD）（可用早期：概念件 / 脚本参数化 / STEP 衔接；整机装配仍以专业 CAD 为主）
• CAD Skills（earthtojake/text-to-cad）（Agent Skills：build123d STEP-first + URDF/SRDF/SDF + 制造/打印全链路）
• Articraft（agent + SDK + harness：可关节 3D 仿真资产与 Articraft-10K；arXiv:2605.15187）
• World Labs（空间智能：Marble 生成式 3D 世界 + Spark 流式 3DGS Web 渲染）
• Superpowers（obra）（编码代理可组合技能 + TDD / worktree / 子代理交付；与 LLM Wiki 规约对照）
• Skills For Real Engineers（mattpocock）（轻量可组合工程技能：grill、CONTEXT.md、TDD、架构卫生；skills.sh 安装）
• HumanLayer Skills（Claude Code 技能：<important if> harness、控制论式 agentic loop、GHA 迭代维护）
• Logo Design Skill（跨代理 Logo 设计流程：brief、SVG 构造、尺寸测试与用户选向检查点）
• Get It. Study Companion（本地优先 PDF 学习应用：概念可视化、知识图谱、主动回忆与测验）
• Cloudflare Security Audit Skill（六阶段 agent 安全审计：coverage ledger + 对抗验证 + findings.json）
• SenseNova-Skills（OpenSenseNova）（Agent Skills 办公技能库：信息图/PPT/Excel/深度研究；Hermes/OpenClaw + SenseNova API）
• Hermes Agent（Nous Research）（常驻自主代理：网关 + 记忆/技能闭环 + 多沙箱 + cron/子代理；MIT）
• DeepSeek Harness（dsh）（深度求索官方插件化 agent 运行时：Cordis + Web/headless/Python SDK；MIT，开发者预览）
• openJiuwen（开放九问）（华为共建开源 Agent 平台：WorkSwarm / 协同工程；GitHub + AtomGit）
• ScienceDiscovery（openJiuwen 本地 AI 科研工作台：MCP 文献 + Bubblewrap 沙箱 + CAS 溯源；Apache-2.0）

roadmap/ — 成长路线

回答"应该先学什么、再学什么、学完输出什么"。

核心路线：

• 主路线：运动控制 → 物理智能全栈成长路线（含 RL / IL / 安全 / 接触操作等 可选纵深）

tech-map/ — 技术栈地图

回答"模块之间是什么关系"。

• 技术栈模块总览

references/ — 论文导航

按主题整理的论文列表，补充 wiki 的深度阅读需求。

---

当前推荐阅读顺序

如果你从人形机器人运动控制切入，建议顺序：

1. LIP / ZMP
2. Centroidal Dynamics
3. Trajectory Optimization
4. Model Predictive Control (MPC)
5. TSID
6. Whole-Body Control
7. State Estimation
8. System Identification
9. Sim2Real
10. Locomotion

---

当前主线知识链

LIP / ZMP
  ↓
Centroidal Dynamics
  ↓
Trajectory Optimization / MPC
  ↓
TSID / WBC
  ↓
State Estimation / System Identification / Sim2Real

---

Obsidian Dataview 动态查询

以下查询块在 Obsidian + Dataview 插件中可直接使用。在 GitHub/普通 Markdown 渲染器中显示为代码块。

查看所有 concept 页面及状态：

TABLE status, tags FROM "wiki/concepts"
SORT file.name ASC

查看所有 draft 状态的页面（待完善）：

TABLE type, file.folder FROM "wiki"
WHERE status = "draft"
SORT type ASC

查看带 rl 标签的所有页面：

LIST FROM "wiki"
WHERE contains(tags, "rl")
SORT type ASC

---

与其他项目的边界

• Robot_Learning_Paper_Notebooks：单篇论文深读
• Robotics_Notebooks：跨模块知识组织
• ImChong.github.io：个人简历

论文项目负责点，技术栈项目负责线和面，个人主页负责展示。

---

---

完整页面目录

自动生成的全量页面清单已迁移到 catalog.md。本页只保留核心入口、推荐顺序与主线知识链，便于第一次访问时快速定位。