模式寻求与均值寻求融合实现快速长视频生成

论文信息

标题: Mode Seeking meets Mean Seeking for Fast Long Video Generation

作者: Shengqu Cai, Weili Nie, Chao Liu, et al.

发布日期: 2026-02-27

arXiv ID: 2602.24289v1

PDF 链接: 下载 PDF

3 分钟速览

• 研究问题： 这篇论文要解决长视频（分钟级）生成中，局部保真度（画质、动态细节）与长期连贯性（叙事、场景一致）难以兼得的矛盾。核心瓶颈在于：高质量短片段数据丰富，但连贯的长视频数据稀缺。
• 核心方法： 提出 “模式寻求（Mode Seeking）遇见均值寻求（Mean Seeking）” 的训练范式，利用解耦扩散变换器（DDT），分别用均值寻求的流匹配头学习长视频全局结构，用模式寻求的分布匹配头从冻结的短视频教师模型继承局部真实感。
• 关键结果： 该方法在 VBench-Long 等基准测试中，仅需 4 步推理（NFE=4）即可生成 30 秒视频，其综合指标（如一致性、运动平滑度、画质）全面优于仅用长视频监督微调（SFT）和仅用教师蒸馏的基线模型（见表 1）。
• 主要局限： 论文附录 E 指出，该方法目前基于双向（非因果）模型，尚未与因果自回归方法深度结合。其原生长上下文编码器虽具潜力，但在交互/动作条件生成方面有待探索。
• 适合读者： 适合从事视频生成、扩散模型、知识蒸馏、长序列建模的研究者和工程师，尤其是关注如何在数据受限条件下提升模型长期生成质量和效率的从业者。

论文背景和研究动机

当前，视频生成领域正从生成几秒钟的短视频片段，向生成数分钟乃至更长、连贯且高保真视频的目标迈进。这一能力是构建交互式世界模型、长篇故事生成、持久化角色动画等应用的基础。然而，这一跨越面临一个根本性瓶颈：数据分布的结构性错配。

论文开篇即指出一个被普遍忽视的关键问题（见图 1）：视频长度的增加并非简单的时空分辨率插值，而是一种外推。一张高分辨率图像是低分辨率图像的局部细节插值，其图像块的基本分布相似。但一部一分钟的视频绝不是 5 秒视频的插值，它包含新的事件、因果链和叙事结构，编码了远超短视频的信息量。这导致生成模型必须学会 “外推” 新的内容，而不仅仅是 “内插” 现有模式。

现有的两类主流方法各自存在缺陷：

1. 混合时长训练（Mean-Seeking）：直接将不同长度的视频混合训练一个单一模型，期望它像处理多分辨率图像一样平滑插值。但由于长视频数据极度稀缺且异质性强，这种 “均值寻求” 的回归目标会迫使模型在数据稀疏的长时域上平均化预测，导致生成的视频在局部清晰度、动态细节上丢失 “生气”，变得模糊、软化（见论文第 4.3 节定性分析）。
2. 仅依赖教师模型（Mode-Seeking）：试图通过蒸馏一个高质量的短视频 “教师” 模型来生成长视频。这类方法（如 CausVid、Self-Forcing）往往采用自回归（AR）方式滚动预测，但缺少真实长视频的监督，会遭遇严重的误差累积和内容漂移（论文第 4.2 节指出，这是 “教师盲区”）。同时，纯 “模式寻求” 可能导致模型趋向静态或过饱和以规避错误（见表 1 中 InfinityRoPE 和 CausVid 的动态性/一致性异常分数）。 因此，作者团队的核心动机是寻找一种能够优雅地解耦局部保真度与长期连贯性的训练范式，从而弥合 “保真度-时长鸿沟”（fidelity–horizon gap）。

核心方法和技术细节

论文的核心贡献是提出了一种名为 “模式寻求遇见均值寻求” (Mode Seeking meets Mean Seeking) 的训练范式。其巧妙之处在于，它通过一个解耦扩散变换器 (Decoupled Diffusion Transformer, DDT) 架构，将两种看似冲突的训练信号分别施加于同一模型的不同部分。

1. 解耦架构：共享编码器，专用预测头

模型的主体是一个共享的长上下文条件编码器 $E_{\phi}$，它接收带噪的长视频潜变量 $x_{t}^{\text{long}}$ 和文本条件 $c$，输出一个统一的时空特征表示 $h_{t}$。在此基础上，模型分出两个轻量级的解码器 “头”：

• 流匹配头 (FM Head) $D^{\text{FM}}_{\theta}$：这是一个标准的 “均值寻求” 头。
• 分布匹配头 (DM Head) $D^{\text{DM}}_{\psi}$：这是一个 “模式寻求” 头，用于快速、少步的推理。

2. 双目标训练策略

训练过程结合了两种互补的损失信号，分别更新不同的组件，避免了单一头产生的梯度冲突（论文第 3.3 节详述）。

• 全局均值寻求：长视频监督微调 (SFT) 这个目标仅作用于FM 头 $D^{\text{FM}}_{\theta}$ 和共享编码器 $E_{\phi}$。它使用标准的流匹配损失 $\mathcal{L}_{\text{SFT}}$，在稀缺的真实长视频数据上进行监督训练。其数学形式就是要求模型预测的速度场 $u_{\theta}$ 逼近从噪声 $z^{\text{long}}$ 到真实视频潜变量 $x_{0}^{\text{long}}$ 的直线路径速度：

$$\mathcal{L}_{\text{SFT}}(\phi,\theta) = \mathbb{E}_{x_{0}^{\text{long}},z^{\text{long}},t}\left[\|u_{\theta}(x_{t}^{\text{long}},t,c) - (x_{0}^{\text{long}} - z^{\text{long}})\|_2^2\right]$$

这个目标为模型注入了理解长期叙事和因果结构的 “锚点”。

• 局部模式寻求：滑动窗口分布匹配 这个目标仅作用于DM 头 $D^{\text{DM}}_{\psi}$ 和共享编码器 $E_{\phi}$。它旨在确保生成的长视频的每一个局部滑动窗口，都与一个冻结的、高质量的短视频教师模型 $p_{\text{teacher}}$ 的分布对齐。这里的核心创新在于使用了模式寻求的反向 KL 散度 (reverse-KL divergence)，并通过分布匹配蒸馏 (DMD/VSD) 技术实现对它的优化：

$$\mathcal{L}_{\text{seg}}(\Phi) = \mathbb{E}_{k}\left[D_{\mathrm{KL}}\!\left(q_{\Phi}^{(k)} \,\|\, p_{\text{teacher}}\right)\right]$$

其中 $q_{\Phi}^{(k)}$ 是学生模型生成的长视频中的第 $k$ 个滑动窗口的分布。论文第 3.4 节详细阐述了如何计算此损失的梯度。关键在于，梯度信号是学生自身的 “伪” 速度估计 $v_{\text{fake}}$ 与教师速度 $u_{\text{teacher}}$ 之差，这驱动学生生成样本向教师分布的高密度、高保真模式靠拢，而不是平均化。

3. 推理过程

在推理时，仅使用模式寻求的 DM 头 $D^{\text{DM}}_{\psi}$ 进行前向生成。因为这个头在训练时通过 DMD 被蒸馏为少步生成器，它可以直接在 4 步内完成推理（见表 1，NFE=4），实现快速的分钟级长视频合成。

创新点和贡献

本文的创新点和贡献可以精炼为以下三点：

1. 提出了概念上 “解耦” 的训练范式：首次明确将长视频生成的 “保真度” 和 “连贯性” 解耦为两个独立的优化目标，并通过 “模式寻求” 和 “均值寻求” 两种互补的数学框架来实现。这与简单混合数据训练（试图用一个模型完成所有事）有本质区别。

2. 设计了架构上的 “解耦” 实现：基于 DDT 架构，用共享编码器和两个专用预测头来分别承载上述两个目标。消融实验（表 2）强有力地证明了这种设计的关键性：若移除双头设计，将两个目标混用在一个头上训练，会导致所有指标的性能降级，这直接验证了作者关于 “梯度干扰” 的论断。

3. 实现了实用的 “外推” 能力与快速推理：在没有使用额外短视频数据的情况下，该方法仅利用稀缺的长视频数据和已有的短视频教师模型，就显著提升了长视频的局部画质和动态性，同时保持了长期一致性。更重要的是，它一步到位地训练出了一个少步（4 步）推理器，无需像传统方法那样进行繁琐的后训练蒸馏。

实验结果分析

论文在 Wan1.3B 模型上进行了详尽的定量和定性评估，生成了 30 秒（约 121 帧）的视频。

定量分析

表 1 的结果清晰地展示了各类方法的优缺点：

• SFT 类方法（长视频 SFT、混合时长 SFT）在一致性指标（如主体、背景一致性）上表现稳健，但画质（Aesthetic Quality, Image Quality）相对较低，这印证了前文 “均值寻求导致细节丢失” 的分析。
• 教师蒸馏类方法（CausVid, Self-Forcing）虽然可能获得更高画质，但往往牺牲了长期一致性（如低一致性分数）或导致运动过饱和/静止的极端情况。例如，InfinityRoPE 的动态性得分（0.7188）远低于其他方法，表明其在避免 AR 漂移时退化为静态图。
• 本文方法则实现了最佳的综合平衡。它在保持高一致性（VLM Consistency 75.42）的同时，拥有最高的动态性得分（0.9453），并且画质（0.5735/0.6982）也显著优于纯 SFT 方法。这成就了 “弥合保真度-时长鸿沟” 的核心主张。

定性分析

图 4 的视觉对比与定量结果相呼应。SFT 方法生成的视频模糊、细节丢失；纯教师方法则出现颜色过饱和（CausVid）或场景不连贯（Self-Forcing）。而本文方法生成的对象更清晰，背景演变平滑，在维持长期叙事的同时保留了短视频般的生动细节。

消融实验

表 2 的消融研究进一步证明了每个组件的必要性。移除双头设计（No DDT dual heads）、移除滑动窗口 DMD 对齐（退化为纯 SFT）、或移除长视频 SFT（仅靠教师），都会在一致性、动态性或画质上造成明显损失。这强有力地支持了作者的整体设计。

实践建议

对于希望在视频生成领域将模型从 “秒级” 提升到 “分钟级” 的工程师和研究者，本文提供了极具价值的实践指导：

1. 架构设计遵循 “解耦” 原则：不要试图让单一网络头同时兼顾全局结构和局部细节。采用类似 DDT 的 “共享骨干+专用头部” 架构，是处理多任务且目标有潜在冲突时的有效设计模式。实践中，可以通过梯度隔离确保各头部的专业化。

2. 充分利用现有模型资产：无需从头训练，也无需昂贵的教师数据。将已经过充分训练的高质量短视频模型（如 Wan, CogVideoX）作为 “教师”，通过模式寻求损失（如 DMD/VSD）将其能力蒸馏到长视频 “学生” 模型中，是实现高质量局部动态的经济高效的途径。

3. 数据策略：长视频求 “结构”，短视频求 “质感”：战略性地区分数据的使用。用稀缺但结构连贯的长视频数据来监督全局流匹配头，教会模型叙事能力；而局部画质则完全由短视频教师模型提供的、不依赖具体数据的分布对齐信号来保障。这可以极大缓解对海量长视频数据的渴求。

4. 推理效率优先：在设计中集成类似 DMD 的蒸馏策略，可直接获得少步生成能力。这对于需要快速原型迭代或部署到资源受限环境的场景尤其重要，可以实现近乎实时的分钟级长视频创作。