DynaFLIP：经由三模态动态引导的表征重新思考机器人感知

论文信息

标题: DynaFLIP: Rethinking Robotics Perception via Tri-Modal-Dynamics Guided Representation

作者: Jusuk Lee, Seungjae Lee, Jonghun Shin, et al.

发布日期: 2026-05-28

arXiv ID: 2605.30350v1

PDF 链接: 下载 PDF

3 分钟速览

研究问题：当前机器人学习系统普遍沿用为静态图像识别设计的视觉编码器，这些编码器缺乏对 “动态变化” 的理解，导致机器人难以区分控制相关区域与视觉显著但无关的区域，限制了泛化能力。
核心方法：提出 DynaFLIP 框架，在预训练阶段利用 “图像状态变化”、“语言指令” 和 “3D 场景流” 三种模态作为监督信号，通过一种基于 “单纯形体积” 的多模态对齐技术，共同塑造一个图像编码器，将动态理解前置到感知层。
关键结果：在包含多种真实世界环境干扰的分布外测试中，DynaFLIP 的成功率相比最强基线模型最高提升了 22.5%（见论文图 6），展现出卓越的鲁棒性。
主要局限：预训练数据集规模（26 万条轨迹）仍远小于部分纯视觉或视觉-语言模型使用的大规模数据；此外，3D 场景流的提取包含了与任务无关的运动，可能引入噪声。
适合读者：适合从事机器人操作、视觉表征学习、多模态预训练及具身智能研究的研究者和工程师阅读。

论文背景和研究动机

机器人要实现可靠的泛化操作，核心在于其感知系统能否从场景中提取出 “与动作相关” 的关键信息。然而，当前大多数机器人学习流程存在一个根本性的假设偏差：它们直接复用为静态图像识别（如 CLIP、DINOv2）或视觉-语言对齐（如 SigLIP）而预训练的视觉编码器，并期望下游的策略网络能自行理解运动和动态。

这种做法带来一个明显的问题：操作的本质是动作如何引起状态变迁，但现有视觉编码器在预训练时从未接触过运动与动态信息。因此，它们往往会关注场景中视觉上显著但与控制无关的区域（例如背景、无关物体），却忽略了真正需要交互的物体和接触点。论文的作者们认为，机器人泛化能力受限的根源，部分在于感知层缺乏对动态的基本理解。因此，他们重新思考了机器人学习的范式，提出必须将 “动态感知” 前置到上游的视觉编码器中，让编码器不仅表示 “场景里有什么”，更要理解 “场景在动作下如何变化”。

核心方法和技术细节

DynaFLIP 方法的核心挑战在于：如何在测试时仅使用单张图像的前提下，将一个动态感知的监督信号注入到图像编码器。论文提出的解决方案不是在测试时增加新模态，而是在训练时引入额外的模态作为 “监督”，来塑造编码器的内部表征。这里选择的三种监督模态分别是：

图像状态变化：提供两帧之间的视觉差异，但无法解释变化的原因。
语言指令：在语义层面描述 “意图发生” 的变迁，弥补了图像的不足。
3D 场景流：提供了视角不变、显式的物理空间运动信息，解耦了 2D 外观。

这三者构成的 “图像-语言-3D 流” 三元组是 DynaFLIP 的训练数据基础，且它们都可以从无动作标签的视频数据中提取，使得利用海量的人类和机器人视频数据进行预训练成为可能。

如何将三种模态的监督信号有效融合是技术上的关键挑战。DynaFLIP 并没有采用传统的基于锚点的对比学习（这无法保证非锚点模态之间的对齐），而是引入了一种基于 “单纯形体积” 的高阶对齐方法。在共享的超球面空间中，三种模态的嵌入向量会张成一个三角形，其面积越小，表示三者对齐程度越高。论文将此面积作为对齐的能量函数进行最小化。

然而，单纯最小化三角形面积会带来两个优化陷阱：

几何歧义：三角形体积变小（趋近于一条线）时，可能仍有两种模态相距很远（如论文图 3 左侧所示）。为解决此问题，论文在面积最小化目标上增加了一个 余弦正则化项，显式地拉近语言和 3D 流这两种模态（见论文公式 2）。
平凡坍缩：在没有负样本的情况下，所有嵌入坍缩到同一个点也能使体积为零（如论文图 3 右侧所示）。论文通过将上述联合对齐能量嵌入到一个 InfoNCE 风格的 对比学习框架 中来避免这一点，迫使正样本对能量低于构造的负样本对（见论文公式 3）。

此外，DynaFLIP 还引入了两个辅助训练目标：一个时间对比损失，用于强化跨时域轨迹的结构；一个动作预测损失，直接要求图像编码器预测 3D 流，从而更直接地编码操纵动态（见论文公式 6、7）。最终，预训练好的图像编码器即可作为一个 “动态感知” 的视觉骨干，用于各种下游策略。

创新点和贡献

本文的主要贡献在于对机器人感知范式的重新思考和实现。

首先，它系统地将机器人泛化问题的一部分归结为感知问题，明确指出鲁棒的操作需要编码了动态与控制相关结构的视觉表征，而非仅仅视觉显著性。

其次，在技术实现上，DynaFLIP 开创性地通过 “单纯形体积” 这种高阶多模态对齐方式，将图像变迁、语言和 3D 流三种监督信号的互补优势蒸馏到一个图像编码器中，并巧妙地解决了直接体积最小化带来的优化陷阱，这是多模态表征学习在具身智能领域的一个新颖应用。

最后，论文构建了一套完整的数据生成流程，从人类和机器人视频中大规模提取 “图像-语言-3D 流” 三元组，并验证了这种动态感知表征作为通用视觉骨干的强大迁移能力，这为未来大规模机器人预训练提供了可行的技术路径。

实验结果分析

论文通过一系列量化与定性分析，系统回答了所提出的研究问题。

Q1: DynaFLIP 是否学到了控制相关的动态表征？ 实验通过在冻结的视觉编码器上训练一个轻量的探针网络，并计算其预测机器人状态和物体位姿的 “控制相关性分数（S_m）” 来评估。结果显示，无论是在 MetaWorld 还是 RLBench 测试基准上，DynaFLIP 在该分数与下游任务成功率的关系图中都位于最右上角的区域（图 4），表明其表征保真度最高。Grad-CAM 可视化也定性展示，DynaFLIP 的注意力集中在了被操作的物体和交互区域，而其他基线模型则更多地关注背景或无关物体（图 5）。

Q2: 表征能否提升下游策略学习？ 在 LIBERO-90 等多个基准上，使用扩散策略评估的结果表明，在完全冻结编码器的情况下，DynaFLIP 以 41.5% 的平均成功率显著优于其他所有基线（第二名 DINOv2 为 37.2%）（表 1）。即使允许对编码器进行 LoRA 微调，DynaFLIP 仍然以 81.0% 的平均成功率保持领先（表 1）。这证明其预训练表征不仅质量高，而且具有极强的可复用性。

Q3: 能否改善真实世界中的操作？ 在真实机器人上，论文将 DynaFLIP 作为视觉支路注入到 VLA 模型中进行测试。在分布外测试（包含未见过的物体、指令和视觉干扰）下，DynaFLIP 的优势尤为突出，高达 22.5% 的提升主要来自于其对控制相关区域的鲁棒关注，而其他模型常见因精确抓取失败或关注错误物体而失效（图 6）。

Q4: 哪些设计最为关键？ 消融实验（表 2）证明了每个组件的必要性。其中，移除对比学习框架（即无负样本）导致了最严重的性能崩溃（成功率从 44.0% 降至 18.1%），验证了避免平凡坍缩的重要性。单独移除 3D 流或语言，以及将单纯形对齐替换为锚点对齐，均会导致明显性能下降，证明了三模态联合高阶对齐的独特价值。

实践建议

对于希望在机器人操作任务中应用视觉表征的从业者而言，这篇论文提供了几点重要的实践启示：

根据任务选择视觉编码器：如果你的任务涉及复杂的物理交互、对精确抓取要求高，或需要在新环境下进行泛化，那么选择一个像 DynaFLIP 这样具有动态感知能力的编码器可能会比使用 CLIP、DINOv2 等静态视觉编码器带来更显著的性能提升，尤其是在抵抗环境干扰方面。
冻结特征的高效利用：DynaFLIP 的实验证明了高质量的预训练表征可以在完全不进行微调的情况下，直接支持一个简单的 MLP 策略或扩散策略取得有竞争力的结果。这为资源受限的开发者提供了 “即插即用” 的可能，可以极大降低下游训练成本和时间。
关注模型的注意力区域：在部署前，可以利用 Grad-CAM 等可解释性工具观察你的视觉编码器到底在关注哪里。如果它常常被背景或无关物体吸引，那么用 DynaFLIP 这类以控制区域为关注核心的模型替换它，可能是解决问题的有效策略。
对抗分布外泛化的思路：该研究结果表明，在预训练阶段让模型学习 “世界如何变化” 比仅仅学习 “世界是什么” 更能抵抗测试时的视觉和语义干扰。在设计自己的感知系统时，可以考虑如何将物理规律或动态信息作为监督信号，而不只是依赖静态的视觉-语言对齐。