揭秘视频推理

Demystifing Video Reasoning

arXiv: 2603.16870v1

论文信息

标题: Demystifing Video Reasoning

作者: Ruisi Wang, Zhongang Cai, Fanyi Pu, et al.

发布日期: 2026-03-17

arXiv ID: 2603.16870v1

PDF 链接: 下载 PDF

3 分钟速览

  • 研究问题：扩散模型驱动的视频生成模型是否具备真正的推理能力，其内部机制究竟是什么？以往研究假设的 “逐帧推理链”（Chain-of-Frames）是否准确？
  • 核心方法：通过定性分析（可视化扩散过程的中间潜在表示）、定向噪声扰动实验以及信息流分析，系统性地解剖视频模型的内部推理过程。
  • 关键结果：发现视频模型的推理主要通过扩散去噪步骤展开，论文称之为 “逐步推理链”（Chain-of-Steps, CoS），推翻了此前的 “逐帧推理链” 假说（见论文第 3 节）。
  • 主要局限：论文提出的训练免集成策略（Training-Free Ensemble）虽然有效，但会增加推理时的计算成本（需要运行多个随机种子并聚合）；实验主要基于 VBVR-Wan2.2 单一模型系列，在其他架构上的泛化性有待验证。
  • 适合读者：对视频生成模型、扩散模型内部机理、多模态大模型推理能力以及通用人工智能（AGI）新基座感兴趣的研究者和工程师。

论文背景和研究动机

近年来，扩散模型在视频生成领域取得了巨大成功，能够创造出高保真、视觉逼真的视频内容。然而，一个出乎意料的现象引起了研究者的注意：这些模型在生成过程中展现出了一定的推理能力。例如，它们能在生成的视频中解决迷宫、完成对象重排等逻辑任务。此前的研究将此现象归因于一种 “逐帧推理链”（Chain-of-Frames, CoF） 机制，认为推理过程随着视频帧的生成顺次展开，像播放电影一样一步步得出结论。

本文作者挑战了这一直觉上的假设。他们认为，仅仅将视频模型的推理类比为处理图像序列的 “因果” 链条，可能掩盖了其更深层的本质。随着大规模视频推理数据集（如 VBVR）和开源基础模型（如 Wan2.2）的发布，研究者们首次获得了系统性探究这一能力的宝贵机会。论文旨在 “揭秘” 视频推理的真相，回答一个核心问题：视频模型内部的推理过程，究竟是如何进行的？这项工作不仅是对一种新兴能力的科学解释，也为将视频模型作为未来机器智能的新基座奠定了基础。

核心方法和技术细节

为了揭示视频推理的内在机制，论文设计了一套多角度的技术分析框架，核心在于剖析扩散模型的去噪轨迹。

首先，研究者通过可视化中间潜在表示来直接 “观察” 模型的思考过程。扩散模型通过迭代去噪将随机噪声转化为结构化数据。在流匹配（Flow Matching）框架下，模型学习一个速度场 vθv_{\theta}。在每个去噪步骤 ss，可以估算出当前的 “干净” 潜在状态 x^0\hat{x}_0：

x^0=xs−σs⋅vθ(xs,s,c)\hat{x}_0 = x_s - \sigma_s \cdot v_{\theta}(x_s, s, c)

通过对不同去噪步骤的 x^0\hat{x}_0 进行解码，研究者能够可视化模型决策的演变（见论文第 3.1 节）。这种方法类似于为模型的 “大脑” 拍下连续快照，观察其想法如何从模糊变得清晰。

其次，论文进行了定向噪声扰动实验，这是验证推理主轴的因果关系关键。实验设计了两种噪声注入方式（见论文第 3.2 节，图 3(a)）：

  1. “步骤噪声注入”：在某个特定扩散步骤，向所有视频帧的潜在表示注入高斯噪声，破坏该步骤的信息。
  2. “帧噪声注入”：在整个扩散过程中，持续向某一特定帧的潜在表示注入噪声。

通过比较两种扰动对最终任务性能的影响，可以判断推理过程对哪个维度（步骤 vs. 帧）的完整性更敏感。结果显示，“步骤噪声注入” 会导致性能崩溃，而 “帧噪声注入” 的影响则小得多（见论文图 3(b)），这强有力地证明了推理主要沿扩散步骤进行。

此外，论文还采用了层间潜在替换实验（见论文第 5.2 节），对扩散变换器（DiT）内部的特定层进行特征替换，以因果性地评估不同层对最终推理结果的贡献。

创新点和贡献

本文的核心贡献在于发现并系统性地阐述了一种全新的视频推理机制，其创新点主要体现在以下几个方面：

  1. 提出 “逐步推理链”（Chain-of-Steps, CoS）机制：这是论文最核心的发现。它颠覆了传统的 “逐帧推理链”（CoF）观点，证明视频模型的推理并非沿时间轴顺序展开，而是在每个去噪步骤中，对所有帧进行全局的、并行的信息处理与迭代优化。模型在早期扩散步骤会探索多个候选解（多路径探索），然后在后续步骤中逐步收敛到最终答案（见论文图 1 和图 2）。

  2. 揭示与大型语言模型（LLM）相似的涌现推理行为：论文首次在视频生成模型中观察到一系列令人惊讶的类人推理行为（见论文第 4 节）：

    • 工作记忆：模型能在整个去噪过程中持久化关键信息，如被遮挡物体的轮廓或目标点的位置，以支持后续操作。
    • 自我纠错与增强：模型在早期步骤中可能产生不完整或错误的答案，但在随后的步骤中会进行 “顿悟式” 的修正和优化，而不是一错到底。
    • 先感知后行动：模型自发形成了一种通用处理流程，在早期步骤中识别和定位目标物体（感知），然后在后期步骤中执行复杂的运动和逻辑操作（行动），实现了从静态语义锚定到动态推理的转变（见论文图 5）。

  3. 发现扩散变换器（DiT）内部的层功能特化：论文深入 DiT 结构内部，发现其在单个去噪步骤中自组织演化出了任务无关的功能分层（见论文第 5 节）。浅层网络负责编码密集的感知结构，中间层执行核心的推理计算，而深层网络则巩固潜在表征，为下一步做准备。

  4. 提供无训练的策略作为概念验证：基于 CoS 的发现，论文设计了一种简单的、无需额外训练的集成推理方法。通过聚合来自不同随机种子的模型在推理关键层（中间层）的潜在轨迹，可以稳定和提升模型的推理表现，在 VBVR-Bench 上取得了 2% 的绝对提升（见论文表 1）。

实验结果分析

论文通过一系列严谨的实验支撑其核心论点。 在定性分析中，通过可视化去噪过程中的 x^0\hat{x}_0，清晰展示了 “多路径探索” 和 “叠加态探索” 的现象。例如，在迷宫任务中，早期步骤会同时出现多条可行路径的 “幻影”，随后最优路径被逐步强化，其余则慢慢消失（见论文图 2(a)）。这直观地展示了模型内部的启发式搜索过程。

在定量实验方面，噪声扰动实验提供了最具说服力的因果证据。与无噪声的基线相比，“步骤噪声注入” 使最终得分从 0.685 暴跌至 0.3 以下，表明推理链条对步骤维度的完整性极其敏感。而 “帧噪声注入” 造成的性能下降则小得多，证明了模型可以利用双向注意力机制从相邻帧恢复被破坏的信息（见论文图 3(b)）。对信息传播的进一步分析（CKA 差异性）显示，在去噪步骤 20-30 的中间阶段注入噪声，对模型的破坏力最大，这说明关键推理结论在此阶段已然固化（见论文图 3(c)）。

在层间分析实验中，通过将目标物体（如猫）的第 20 层特征替换为另一物体（如自行车）的特征，模型的识别结果发生了翻转，这因果性地证实了中间层正是承载语义决策信息并进行推理计算的关键所在（见论文第 5.2 节）。

实践建议

这项研究不仅揭示了基础机理，也为未来的研究和应用指明了方向。对于希望利用或改进视频生成模型推理能力的从业者，有以下几点建议：

  1. 优化推理时的计算资源分配：既然推理主要发生在特定的扩散步骤（尤其是中间阶段），理论上可以设计动态计算策略。在早期探索步骤和后期微调步骤中，可以适当降低计算精度或使用更轻量的模型组件，从而在不大幅牺牲推理性能的前提下提升推理速度。

  2. 设计更具针对性的推理强化训练：当前的训练方法可能并未充分利用 CoS 机制。可以设计新的训练目标或损失函数，显式地鼓励模型在早期步骤进行更多样化的探索，或在中间步骤加强逻辑一致性。例如，可以对 “自我纠错” 行为给予正向奖励信号。

  3. 开发高级的训练免集成与搜索策略：论文提出的训练免集成方法是一个简单的开端（见论文第 6 节）。更复杂的策略，如在关键步骤对模型的 “思维树” 进行束搜索（Beam Search），或结合过程奖励模型来剪枝和选择更优的潜在轨迹，有望极大地激发模型的推理潜力，而无需重新训练模型。

  4. 将视频模型作为 “世界模拟器” 的推理引擎：这项研究证实了视频模型具备零样本解决时空逻辑问题的能力。在具身智能、自动驾驶等领域，可以利用这种预训练的视频推理模型作为规划器，通过在潜在空间模拟不同的行动序列并观察其生成结果是否符合预期，来选择最优行动方案。