论文精读：Multi-Loco —— 统一形态 legged 机器人的运动控制新范式

标题Multi-Loco: Unifying Multi-Embodiment Legged Locomotion via Reinforcement Learning Augmented Diffusion机构南方科技大学、圣母大学、浙江大学-UIUC学院、逐际动力 (LimX Dynamics)项目链接https://multi-loco.github.io/0. 引言打破“一机一策”的僵局在具身智能Embodied AI领域实现跨形态Multi-Embodiment的泛化一直是个难题。传统的强化学习RL通常针对特定机器人如四足、双足、人形单独训练因为它们的自由度、动力学特性和观测空间各不相同。Multi-Loco提出了一种创新的架构它不需要显式的形态描述符如结构编码而是通过 Diffusion Model 学习通用的运动先验再利用轻量化残差 RL 策略进行在线修正。这种方法让一个模型同时驱动四足、轮足、双足和人形机器人成为可能。1. 核心贡献形态无关的生成式架构结合了形态无关的 Diffusion Model 与轻量化残差策略Residual Policy。运动流形共享证明了不同形态的机器人可以共享一个通用的“运动流形”Locomotion Manifold实现正向知识迁移。零样本迁移 (Zero-shot Sim2Real)在仿真中训练的统一策略可以直接部署到真实的多种 legged 机器人平台上。2. 系统架构 (Methodology)Multi-Loco 的框架由三个关键环节组成解决了“维度不统一”、“多模态分布”和“环境鲁棒性”三大挑战。(1) 维度对齐Zero-Padding 与 Masked Input为了让同一个网络处理不同自由度的机器人作者采用了最直接但有效的方案维度对齐。Zero-padding将所有机器人的观测Observation和动作Action统一填充到固定的最大维度空间。对于不存在的关节直接补 0。Mask 向量 (bbb)引入一个二进制掩码向量显式地告知网络哪些维度是真实物理存在的。MinMax 归一化确保不同量纲的传感器数据在同一尺度下运算。(2) Diffusion Prior捕捉运动的“多模态”运动控制本质上是一个多模态问题Multi-modality在给定的观测下合理的动作往往不是唯一的而是一组概率分布。Multi-Loco 使用基于EDM (Elucidating Diffusion Models)和DiT (Diffusion Transformer)的生成模型核心公式Masked Denoising Score MatchingDiffusion 的目标是训练一个去噪器DθD_\thetaDθ​其损失函数定义为LdiffEaˉ∼μ,n∼N(0,σ2I),oˉ,σ[λ(σ)∥M⋅(Dθ(aˉn,oˉ,σ)−aˉ)∥22]\mathcal{L}_{diff} \mathbb{E}_{\bar{a} \sim \mu, n \sim \mathcal{N}(0, \sigma^2 I), \bar{o}, \sigma} \left[ \lambda(\sigma) \| M \cdot (D_\theta(\bar{a} n, \bar{o}, \sigma) - \bar{a}) \|_2^2 \right]Ldiff​Eaˉ∼μ,n∼N(0,σ2I),oˉ,σ​[λ(σ)∥M⋅(Dθ​(aˉn,oˉ,σ)−aˉ)∥22​]公式解读aˉ\bar{a}aˉ统一空间中的真实动作Ground Truth。aˉn\bar{a} naˉn添加噪声后的带噪动作。DθD_\thetaDθ​去噪器网络。输入带噪动作、当前观测oˉ\bar{o}oˉ和噪声强度σ\sigmaσ预测原始干净动作。MMM(Masking)这是关键。它让DθD_\thetaDθ​仅关注“真实物理关节”的维度无视填充的 0从而只在有效维度上进行学习。λ(σ)\lambda(\sigma)λ(σ)权重函数平衡不同噪声水平下的损失贡献。(3) Residual RL在线实时修正虽然 Diffusion Model 学习了强大的动作先验Offline但它在处理复杂动态地形或特定任务细节时可能不够精准。因此作者引入了在线强化学习 (Online RL)Actor接收 Diffusion 的输出作为基准加上一个轻量级的残差输出Δa\Delta aΔa。Multi-Critic 架构为了加速收敛并提高稳定性采用多评论家网络评估状态价值。Residual Penalty在奖励函数中限制Δa\Delta aΔa的幅度确保机器人不会偏离 Diffusion 学到的“优雅运动模式”太远。3. 奖励函数设计 (Reward Design)为了平衡性能与物理一致性奖励函数分为三大部分类别主要项作用Locomotion 任务项速度/角速度追踪、底盘高度限制确保机器人“走得快、走得稳”不趴在地上。物理正则项关节力矩、功率、加速度惩罚保证动作的物理真实感Physical Realism减少硬件损耗。Diffusion 引导项Residual Penalty:α∣Δa∣\alpha |\Delta a|α∣Δa∣限制残差动作的大小强制策略参考 Diffusion 先验。4. 实验结果与评价关键发现正向迁移 (Positive Transfer)在多形态混合训练中尤其是轮式机器人表现出了显著的技能增长。这是因为它“借用”了四足或双足机器人的运动协调性。四足机器人作为“导师”虽然四足机器人本身性能提升不明显但它为其他更不稳定的形态提供了稳定的运动流形参考。零样本迁移实验展示了模型在草地、斜坡、楼梯和碎石路等复杂地形下的鲁棒性。5. 总结与启发Multi-Loco的成功带给我们几个核心思考跨机器人数据的价值不同形态的机器人运动并非孤岛它们共享一套底层的物理运动规律Locomotion Manifold。生成模型 判别式修正Diffusion 提供分布式的“可能性”RL 提供确定性的“准确性”这种组合可能是通往通用运动基础模型 (Foundation Locomotion Policy)的有效路径。对于具身智能开发者来说这意味着我们未来可能不再需要为每一款新设计的机器人从头训练策略而是可以基于一个强大的“运动底座”进行快速微调。