《X-Diffusion：基于跨具身人类示范训练扩散策略》

论文信息

标题: X-Diffusion: Training Diffusion Policies on Cross-Embodiment Human Demonstrations

作者: Maximus A. Pace, Prithwish Dan, Chuanruo Ning, et al.

发布日期: 2025-11-06

arXiv ID: 2511.04671v1

PDF 链接: 下载 PDF

3 分钟速览

研究问题：如何在不引入物理不可行动作的前提下，将大规模人类演示视频用于训练机器人操作策略，解决人与机器人具身差异导致的行为不匹配问题。
核心方法：利用扩散模型的前向加噪过程，在人类动作中加入足够噪声，使其低层执行细节被模糊而高层任务意图保留；训练一个分类器判断动作来源，仅在高噪声水平引入人类动作参与策略训练。
关键结果：在五个操作任务上，X‑Diffusion 的平均成功率比最好基线方法高出 16%（见论文实验部分）。
主要局限：方法需要额外训练一个具身分类器，且其效果依赖于噪声调度和具身差异程度；论文未报告该分类器在任务变化时的泛化能力。
适合读者：从事机器人模仿学习、扩散策略、跨具身迁移以及希望利用人类视频训练机器人操作技能的研究者与工程师。

论文背景和研究动机

机器人通过模仿学习掌握复杂操作技能，通常依赖于大量高质量的机器人演示数据。然而，采集机器人真实执行的动作遥操作数据不仅成本高昂，而且难以快速扩展。相比之下，人类演示视频可以以极低成本大规模获取，自然成为极具吸引力的训练数据源。但直接将人类手部运动重定向到机器人上，会遇到一个根本困难：人类与机器人在形态、关节自由度、运动范围和动力学特性上存在根本差异。即使使用运动学重定向将人类末端的轨迹映射到机器人末端，所产生的动作序列也可能在物理上完全无法由机器人执行——例如要求突然的加速度、超出关节极限的姿态或者无法实现的接触力。

在这种跨具身场景下，简单地将人类数据和机器人数据混合训练行为克隆策略，往往会引入错误监督，导致策略性能退化。同时，如果为了避免不匹配而完全放弃人类数据，又会浪费其中蕴含的丰富高层任务知识——比如 “抓取杯子的朝向”“移动物体的先后顺序” 等语义信息。因此，如何安全、高效地提取人类演示中的高层指导，同时滤除物理上不可行的低层执行细节，成为跨具身模仿学习的核心难题。

X‑Diffusion 的提出正是为了系统地解决这一矛盾。其核心洞察来自扩散模型的行为生成范式：在扩散策略训练中，一个清晰的动作会经历前向加噪过程，逐渐退化为纯噪声。在这个过程中，低层动作细节（如关节速度、精确轨迹形状）最先被噪声掩盖，而高层任务结构（如整体移动方向、接触模式）能在更大的噪声水平下幸存。这意味着，如果只在较高噪声水平时引入人类动作作为训练目标，就能使人类演示提供有用的任务级引导，同时又不会强迫策略去拟合那些机器人根本无法复现的精细动作。基于这一思想，X‑Diffusion 构建了一个原则性框架，用分类器自适应地决定人类数据应当在哪个噪声层级参与训练，从而最大化利用人类演示的价值。

核心方法和技术细节

X‑Diffusion 框架建立在扩散策略（Diffusion Policy）的基础上。扩散策略将机器人的动作生成建模为一个条件去噪扩散过程：给定当前观测状态 $\mathbf{s}$ ，从纯噪声开始逐步去噪，最终输出一个可行的动作 $\mathbf{a}$ 。训练时，从机器人演示中采样动作 $\mathbf{a}_0$ ，为其添加 $t$ 步噪声得到 $\mathbf{a}_t$ ，然后训练一个去噪网络 $\epsilon_\theta(\mathbf{a}_t, t, \mathbf{s})$ 预测所加的噪声。这一训练范式天然按噪声水平分层：低 $t$ 对应几乎干净的动作，要求网络学习精细的执行细节；高 $t$ 则对应被严重污染的动作，网络只能从中学到宏观的生成方向。

X‑Diffusion 的关键创新在于对训练数据源的控制：它引入了一个二分类器 $C_\phi$ ，用于判断一个带噪声的动作 $\mathbf{a}_t$ 是由人类还是机器人执行的。分类器的输入不仅有 $\mathbf{a}_t$ ，还包括噪声水平 $t$ ，因为不同噪声水平下人类与机器人动作的可区分性不同。论文首先在混合数据上训练这个分类器，得到它在每个噪声水平 $t$ 上的区分能力曲线。

随后，在训练扩散策略时，X‑Diffusion 采用一种 噪声依赖的数据筛选规则：对于机器人演示，所有噪声水平下的动作都可用于训练，因为它们天然具备物理可行性。对于人类演示，则只在高噪声水平区域（ $t \ge \tau$ ）使用，其中阈值 $\tau$ 被设定为分类器无法可靠区分具身来源的最小噪声水平——即当噪声足够强时，人类动作与机器人动作在统计上变得不可分辨。在 $t < \tau$ 的低噪声阶段，策略完全由机器人数据监督，确保模型学到的精细动作始终与机器人执行能力相容；而在 $t \ge \tau$ 的高噪声阶段，人类数据被允许参与训练，为去噪过程提供关于任务走向的粗粒度线索，例如 “末端应向物体靠近” 或 “先旋转后平移” 等。

这一设计有很强的直觉基础：在去噪的早期阶段（高 $t$ ），扩散模型需要形成动作的大致轮廓，此时人类演示的高层语义能够有效指导模型，而低层执行细节还没有被重建。到了去噪末尾（低 $t$ ），模型需要确定精确的关节运动和力度，这时必须依赖真实机器人可执行的动作数据。因此，X‑Diffusion 相当于自动地将不同来源的数据分配到它们最适合的监督层级上，既不损失人类数据的信息优势，也不引入动力学不一致的噪声。

实现上，X‑Diffusion 并不改变扩散模型的网络架构或损失函数，只需在数据采样过程中加入一道过滤逻辑：从人类数据中采样时，仅从 $[\tau, T]$ 区间随机选取噪声水平 $t$ 。从机器人数据中采样则覆盖完整的 $[0, T]$ 区间。分类器仅在训练前用于确定 $\tau$ ，训练策略时不再需要分类器参与，因此推理阶段的开销与标准扩散策略完全相同。

创新点和贡献

X‑Diffusion 的主要贡献可以归纳为三点：

首次将扩散模型的前向噪声过程明确建模为具身差异的滤除机制。不同于以往试图通过显式运动学映射、域适应或对抗训练来缩小具身鸿沟的工作，X‑Diffusion 转而利用去噪扩散模型自身的层级化结构，让噪声水平自然地成为控制跨具身信息粒度的旋钮。
提出了一种基于可区分性阈值的自适应数据筛选方法。通过训练一个轻量级分类器来量化具身差异随噪声水平的衰减规律，并据此确定人类数据的合理介入范围。这种方法无需手工设计任务相关的映射规则，对不同形态的机器人和任务具备通用性。
实验证明了 naive 的跨具身联合训练会显著损害策略表现，而 X‑Diffusion 能够稳定且显著地提升成功率。在五个不同难度的操作任务上，X‑Diffusion 的平均成功率相比最优基线提高了 16%（见摘要和实验部分），验证了其设计的有效性。

实验结果分析

论文在多个机器人操作任务上对 X‑Diffusion 进行了系统评估，包括拾放、开启抽屉、挪动物体等（具体任务见项目网站）。基线方法包括：仅使用机器人数据的标准扩散策略、直接将人类数据重定向后混合训练的 naive co-training 方法，以及可能涉及的其他跨具身适应技术。实验结果表明，naive co-training 往往会导致策略性能明显下降，因为动力学不可行的人类动作在低噪声水平被强行用作精细监督，引入了强烈的错误信号。相比之下，X‑Diffusion 在所有任务上都优于仅用机器人数据的基线，并且在平均成功率上取得了 16% 的相对提升，证明了人类高层知识被有效利用且低层冲突被成功规避。

此外，实验很可能分析了阈值 $\tau$ 的选择对性能的影响：如果 $\tau$ 过小，人类数据中包含的具身噪声会侵入低层监督，损害策略；如果 $\tau$ 过大，则人类数据只能参与极高噪声的生成阶段，其提供的指导过于抽象，增益减弱。论文应当给出了基于分类器性能自动设定阈值的方法，例如取分类器准确率刚好降至随机水平（50%）的 $t$ 值，以保证人类数据与机器人数据在该噪声水平下的统计不可区分。

实践建议

X‑Diffusion 为从人类视频中训练机器人策略提供了一条清晰的工程路径，以下是实际应用时值得注意的几个方向：

数据收集与配比：机器人演示仍然不可或缺，但数量可以远小于人类演示。建议先采集少量涵盖关键操作模式的机器人遥操作数据，同时大量采集人类自然动作视频，并提取末端轨迹或关节角度作为动作标签。人类数据不需要与机器人有严格的一一对应，但最好覆盖相近的任务语义空间。
分类器训练与阈值校准：在具备初步的机器人和人类数据集后，应训练一个简单的具身分类器，输入为噪声动作和噪声水平，输出为来源概率。监控分类器准确率随 $t$ 的变化曲线，并选取准确率首次降至 0.5 附近的 $t$ 作为阈值 $\tau$ 。在任务或机器人形态发生较大变化时，需重新标定该曲线。
扩散策略训练的噪声调度：可以考虑使用余弦噪声调度，使得在高噪声区域有更丰富的变化，从而为人类数据提供更大的介入窗口。训练时确保人类数据的噪声水平采样严格从 $[\tau, T]$ 中抽取，机器人数据则覆盖全范围。可以通过调整两类数据的批次比例来平衡高层引导与低层精度的影响。
任务适配与安全约束：对于高精度或安全性要求极高的操作（如手术、精密装配），即便在高噪声阶段使用人类数据也需要谨慎。此时可以进一步收缩人类数据的噪声范围，或者结合少量机器人数据对该噪声段进行微调，以保守获取高层知识。
扩展到多模态感知：X‑Diffusion 框架天然支持图像、点云等观测输入，只需将分类器与扩散策略的输入同步扩展。在多视角相机或触觉传感器的场景下，分类器可以额外利用观测模态的差异，提升具身可区分性评估的准确性。

总体而言，X‑Diffusion 提供了一个易实施且理论自洽的跨具身学习方案，能将廉价的人类演示资源高效转化为机器人操作能力的提升。工程落地时，核心在于严格控制人类数据介入的噪声层级，以信任它们仅在高噪声区贡献高层计划，而非低噪声区的具体执行细节。