OpenCoF：通过视频生成学习推理

OpenCoF: Learning to Reason Through Video Generation

arXiv: 2607.08763v1

论文信息

标题: OpenCoF: Learning to Reason Through Video Generation

作者: Xinyan Chen, Ziyu Guo, Renrui Zhang, et al.

发布日期: 2026-07-09

arXiv ID: 2607.08763v1

PDF 链接: 下载 PDF

3 分钟速览

  • 研究问题： 当前视频生成模型虽然具备展现物理和因果推理的潜力，但缺乏用于链式帧（Chain‑of‑Frame, CoF）推理的多样化时序监督与专门的内部推理机制，在多步时空推理任务中性能不佳。
  • 核心方法： 首先构建包含 11 类任务、17,312 段视频的多源数据集 OpenCoF‑17K，并在其上微调开源模型 Wan2.2‑I2V‑A14B 得到 Wan‑CoF；随后进一步设计视觉推理令牌（vt）与文本推理令牌（tt），为视频生成过程显式注入推理状态。
  • 关键结果： 在四个外部视频推理基准上，仅通过数据微调的 Wan‑CoF 相对基线全面提升，例如 MME‑CoF 总分从 1.00 提升至 1.30（表 2）；加入 vt 或 tt 后，各基准领先指标继续提高，且两种令牌在不同推理子维度上各有所长。
  • 主要局限： vt 与 tt 仅被分别研究，未探索两者的组合方式；模型在部分基准（如 VIPER）上与闭源模型仍存在较大差距；对于某些任务（如迷宫、体力操控）的精细推理能力有限。
  • 适合读者： 关注多模态推理、视频生成模型能力提升，以及希望在视频扩散模型中嵌入显式推理控制机制的研究人员和工程师。

论文背景和研究动机

近年来，让大模型具备可靠推理能力成为多模态智能的核心目标。主流的视觉推理仍严重依赖静态的 “思维链”（Chain‑of‑Thought, CoT）：抽取局部视觉证据、调用外部工具或辅助图像生成，很难本质地刻画动态演化和多步视觉后果。视频生成模型的崛起提供了一条新路径——推理可以通过帧间时序展开，形成 “帧链”（CoF）推理。已有研究工作（如 MME‑CoF、Gen‑ViRe、VIPER）建立了评估基准，证实视频模型已初步具备物理理解和因果推断的世界知识，但高性能生成并不天然意味着可靠推理：当前模型在长时连贯性、空间一致性和逻辑延续性上仍表现不佳。

更关键的是，已有的提升尝试多局限于单一任务域或内部评测集（如迷宫求解、认知测试），其训练与评估紧密耦合，未能验证在独立外部基准上的泛化性；且主要集中在数据规模或推理阶段策略，鲜少对视频模型内部架构进行针对推理的改造。因此，作者提出了 OpenCoF 框架，试图回答两个核心问题：

  1. 仅通过多样化时序监督，一个开放视频生成基座能否激发出跨基准的 CoF 推理能力？
  2. 在数据监督之上，显式的推理状态组织机制能否进一步帮助模型维护中间推理过程？

核心方法和技术细节

OpenCoF‑17K 数据集

OpenCoF‑17K 包含 17,312 条视频样本，横跨 11 个任务族。所有视频统一为 480p 分辨率、15 fps 帧率、81 帧长度，每条样本由初始条件图像与文本提示组成。其构建融合了四种互补管线（图 4）：

  1. 实例化渲染：从棋局（将杀）、数独等结构化资产采样，用确定性代码渲染视频，注入规则化推理监督。
  2. 专家引导渲染：借助人类标注、LLM 生成概念或文生图模型产出结构图，再通过计算机视觉流程渲染为序列视频（如几何辅助线绘制、点对点连线动画）。
  3. 程序化场景合成：利用物理引擎或图形流水线，从随机种子直接生成七巧板拼图、立方体折叠、3D 多立方体旋转、物理运动（不同摩擦系数的球块轨迹）等视频。
  4. 外部视频重利用：从 VR‑Bench、VBVR、BridgeData V2 等数据集中选取高质量示例，统一格式后纳入（如迷宫导航、具身操控）。

这种多源构建使得数据集覆盖了规则推理、空间几何、物理直觉和算法逻辑等多种推理维度，且特意与后续评估基准保持分布差异，以检验跨域迁移能力（论文 3.2 节）。

Wan‑CoF：纯数据驱动的 CoF 基线

作者选择 Wan2.2‑I2V‑A14B 作为基座，这是一个采用混合专家去噪架构、使用 umT5 文本编码器和 Wan‑VAE 的开源图生视频模型。直接以其 DiT 去噪器加上 LoRA 微调，不引入任何推理专用的模型改动，得到 Wan‑CoF。这种数据‑独存设计（data‑only）旨在纯净评估多样化时序监督对 CoF 行为的影响。

两类显式推理令牌

在 DiT 架构中，推理状态隐式地寄生于生成导向的视觉潜变量或文本条件。为给模型一个专门的 “记忆空间” 来组织中间规则、计划和抽象目标，研究者提出了两种互补的推理令牌（图 7）：

  • 视觉推理令牌（vt）：在视觉令牌序列前插入 NrN_r 个可学习向量，通过自注意力与所有视觉令牌双向交互。令牌汇集全局上下文并回传特征，在生成结束时丢弃，专门捕捉低层视觉线索和时空结构。
  • 文本推理令牌（tt）：在文本条件序列前插入 NtN_t 个可学习向量，仅作为交叉注意力的附加键/值对，不参与查询更新。它们共享于所有时空位置，提供高层次、与具体提示独立的语义先验。

两种令牌均在 LoRA 微调时加入，分别训练得到 Wan‑CoF<sub>vt</sub> 和 Wan‑CoF<sub>tt</sub>，默认令牌数 Nr=Nt=16N_r=N_t=16。从设计上，vt 适合维护全局视觉计划，tt 适合提供稳定的任务级语义引导。

创新点和贡献

  1. 首个多源大规模 CoF 数据集：OpenCoF‑17K 覆盖 11 个任务族，融合实例渲染、专家引导合成、程序化生成和外部视频四大管道，为视频推理提供多样化的时序监督，且具有可扩展的构建框架。
  2. 首次系统验证数据监督对跨基准 CoF 迁移的效果：在完全不改动模型架构的前提下，仅通过数据微调在四个外部基准上获得一致提升，表明多样的 CoF 数据能培养可迁移的推理能力，而非简单过拟合。
  3. 提出并对比两种推理状态机制：视觉推理令牌与文本推理令牌分别作用于视觉潜空间和文本条件侧，实验证明二者均比单纯数据微调更进一步，且在不同推理子维度上表现出清晰的分工（vt 擅规划与抽象类比，tt 擅指令对齐与结构推理）。
  4. 深入的注意力分析：通过沿网络深度、去噪步骤、空间和时间的注意力可视化，揭示了两种令牌如何在不同阶段、位置参与推理过程，为理解视频生成中的推理涌现提供了新视角。

实验结果分析

数据微调带来的收益

在四个外部基准上，Wan‑CoF 相对 Wan2.2‑I2V‑A14B 基线的提升是稳定的（表 2–5）：

  • MME‑CoF 总体从 1.00 → 1.30（+0.30），所有子维度均改善；
  • Gen‑ViRe 平均从 0.304 → 0.391（+0.087），其中算法与逻辑、感知、物理等子项提升显著；
  • VIPER POC 从 3.3 → 7.5（+4.2），时间推理和物理类增益最大；
  • RULER‑Bench 总体从 55.8 → 56.8（+1.0），游戏类与规则连贯性提升较明显。

这些增益集中在推理密集型维度（时间一致性、物理、空间、算法逻辑），而非单纯的视觉质量，说明训练强化了帧级推理。同时，Wan‑CoF 在多个基准上超越了同为开源的 HunyuanVideo 系列，并追近部分闭源模型（如 Seedance‑1.0‑Pro），验证了仅靠数据侧的努力就能让开放模型具备竞争力。

推理令牌的进一步作用

加入推理令牌后，各基准的领先指标继续走高：

  • Wan‑CoF<sub>vt</sub> 在 Gen‑ViRe 上达到 0.441，RULER‑Bench 达到 59.6；在 VIPER 的规划子项（15.8）上远超 tt；
  • Wan‑CoF<sub>tt</sub> 在 MME‑CoF 上达到 1.35，VIPER 达到 8.8，且在指令对齐和结构推理上占优。

这种分化与令牌设计一致：vt 通过全局视觉交互偏向规划与类比，tt 通过文本先验偏向指令理解与结构建模。消融实验表明，将令牌数从 16 翻倍至 32 并未带来普遍提升（表 6），说明推理令牌不是简单的容量参数，需要仔细与网络容量匹配。

注意力可视化揭示的运作机理

分析 120 个 MME‑CoF 案例的注意力（图 8–9）显示：

  • 深度维度：vt 在浅‑中层活跃，高噪声模型下会出现中‑深层峰；tt 主要在浅‑中层呈现，并随深度衰减。表明 vt 参与时空结构组织，tt 提供前期语义引导。
  • 去噪步骤：在早期高噪声步骤中，两种令牌都获得更高注意力，显示它们主要在推理计划尚未确定时发挥作用。
  • 空间模式：vt 注意力稀疏，呈条带状，关注抓手、物体等局部区域；tt 注意力更弥散，覆盖机器人手臂、桌面等广域任务区域。
  • 时间模式：vt 强调序列首尾帧（初始状态与最终结果），tt 则在中间帧保持较均匀，体现 “锚定边界” 与 “稳定语义约束” 的分工。

实践建议

OpenCoF 的工作为在视频生成模型中嵌入推理能力提供了清晰的工程路径，以下建议可供实践者参考：

  1. 构建多样化时序监督数据集 不要仅依赖单一源或认知测试。结合规则渲染、物理仿真、专家标注和真实操作数据，能促使模型学习可迁移的 CoF 推理。可将类似 OpenCoF 的四个管道作为起点，逐步添加需要前瞻和逻辑的任务（如棋类、迷宫、装配序列）。

  2. 优先进行数据微调再探索模型改进 对于资源有限的团队，先在开放基座（如 Wan2.2‑I2V）上用 LoRA 进行 CoF 数据微调，即可在多个推理基准上获得可观提升。这为后续引入推理令牌等高级机制奠定了坚实的数据基础。

  3. 根据任务需求选择推理令牌类型

    • 若下游任务需要全局规划、抽象类比或时空稳定性（如路线规划、物理预测），优先使用视觉推理令牌（vt），因为它能直接在潜空间中维持规划状态。
    • 若任务依赖指令理解、结构遵循或已知先验（如规则推演、几何构造），则文本推理令牌（tt）更合适，其稳定的语义信号可引导生成。 注意令牌数不宜盲目增大，16 是论文中验证的有效配置，超过后需谨慎实验。

  4. 监控推理令牌的注意力行为 在实际部署时，可通过分析令牌在不同网络深度、去噪阶段和时空位置上的注意力分布，诊断模型是否正确地组织推理过程。若令牌注意力集中在无关区域或步骤，可调整初始化或训练数据分布。

  5. 组合与扩展 论文未探索 vt 与 tt 的联合使用，实践中可尝试双令牌通道，让视觉规划与语义引导协同工作。此外，可借鉴该思路，在其他 DiT 类视频模型（如 HunyuanVideo）中同样设计推理令牌，实现跨架构的推理增强。

通过这些实践，开发者有望在开放模型上复现甚至超越本文结果，并推动视频生成向真正的 “视觉推理引擎” 演进。