扩散浏览器：基于多分支解码器的交互式扩散预览

论文信息

标题: DiffusionBrowser: Interactive Diffusion Previews via Multi-Branch Decoders

作者: Susung Hong, Chongjian Ge, Zhifei Zhang, et al.

发布日期: 2025-12-15

arXiv ID: 2512.13690v1

PDF 链接: 下载 PDF

3 分钟速览

研究问题：视频扩散模型（Video Diffusion Models）生成过程缓慢且不透明，用户在漫长的去噪过程中无法预览结果，也无法干预或终止不满意的生成，导致计算资源浪费。
核心方法：提出 DiffusionBrowser 框架，在扩散模型的任意时间步或 Transformer 块上外挂一个轻量级的多分支解码器（Multi-Branch Decoder），以超过 4 倍实时速度生成 RGB 及场景本征图像（如深度、法线、反照率）的预览。
关键结果：在仅完成 10% 的去噪步骤时，DiffusionBrowser 即可生成结构清晰的预览（用户研究中 73%–77% 的参与者更偏好该方法，表 3），相比直接预测 $x_0$ 的方法，允许用户提前终止无效生成并节省推理资源。
主要局限：论文承认其变体操控（Steering）功能存在失败案例（图 12），且未整合文本提示条件，交互仅限于场景本征模态。
适合读者：适合从事视频生成、交互式 AI 系统、生成模型可解释性研究的工程师和研究员，尤其对扩散模型过程可视化和用户导向的创作工具感兴趣的人。

论文背景和研究动机

现代视频扩散模型（如 Wan 2.1）虽能生成生动的视频，但面临两大挑战：一是生成过程固有的随机性导致可控性有限，二是多步去噪推理极其缓慢，阻碍了迭代式创作流程。现有加速方法（如蒸馏）常以牺牲样本多样性与质量为代价，而引入额外控制信号（如深度图）又会使训练管线复杂化。

论文观察到，扩散模型在去噪早期阶段，低频结构（如粗略布局、运动方向、物体轮廓）便已涌现，但这些中间状态对用户而言是 “黑箱”。用户只能在漫长的生成完成后才能评估结果，既低效又浪费计算资源。因此，作者的目标是构建一个轻量、模型无关的框架，让用户能在去噪过程的任意点获得与最终输出相一致的实时预览，并基于预览进行交互式操控。

核心方法和技术细节

场景本征预览的选择。作者论证了场景本征图像（如反照率 albedo、深度 depth、法线 normals）是理想的早期预览表示。线性探测实验（图 2）表明，这类几何与外观信号在去噪过程的极早期（约第 5–15 步）就可从中间特征中高精度解码，远早于 RGB 像素趋于稳定。

叠加问题与多分支解码器。直接使用单个解码器从高噪声特征预测清晰信号，会遇到严重的 “叠加问题”（Superposition Problem）。其根源在于，早期去噪阶段的后验分布 $p(\mathbf{x}_0|\mathbf{x}_t)$ 高度多模态，均方误差（MSE）训练迫使模型输出模糊的模态平均。论文在玩具数据集上直观验证了这一点（图 3）。为解决此问题，作者设计了多分支（MB）解码器，包含 $K=4$ 个独立的预测头（每个头均为 6 层 3D 卷积）。每个分支使用模式寻求损失（mode-seeking loss，如 L1 和感知损失）独立预测，鼓励不同分支捕捉不同的可能模态；同时所有分支的集成平均 $\hat{\mathbf{y}}_{\text{ens.}}$ 通过 MSE 损失与真实值对齐，从而在鼓励多样性的同时保证整体质量（公式 6–8）。这显著减轻了模糊和伪影（图 5）。

交互式变体生成。论文提出了两种利用预览进行变体生成的方法：一是随机重噪声（Stochasticity Reinjection），在预览点重加噪再继续去噪，可保留结构但产生多样细节（图 9）；二是潜在操控（Latent Steering），通过优化中间特征，使解码的本征图向目标值靠拢（如改变基色、增强深度边缘），从而引导后续生成轨迹（图 10、图 11）。

创新点和贡献

本文的创新主要体现在三个层面。首先，它定义了 “预览生成” 这一新任务，打破扩散模型的黑箱生成，将中间特征转化为用户可感知的视觉信号。这一点有别于仅关注最终生成质量或速度的传统工作。其次，提出了多分支解码器架构，不仅解决了高噪声下预测的叠加与模糊问题（第 4.2 节），还自然地引入了生成多样性，为后续的交互式操控奠定了基础。第三，揭示了扩散模型内部表征的演变规律。通过系统性的步级（stepwise）和块级（blockwise）探测，论文首次展示了场景本征信息在视频扩散 Transformer 中的涌现和饱和过程（图 6、图 7），为理解模型的可解释性提供了新工具。论文强调 DiffusionBrowser 是模型无关的 “即插即用” 框架，无需修改或微调基础模型。

实验结果分析

在 1000 个合成视频上训练的 DiffusionBrowser，其性能远超几个基线（表 1）。在完成 10% 去噪时，MB 解码器在 RGB、深度、法线等通道上的 PSNR 和 L1 误差（表 8）均优于直接 $x_0$ 预测和线性探测等方法。尤其关键的是，其生成预览的墙钟时间仅为 0.53 秒，而扩散渲染器（DiffusionRenderer）需 222 秒以上，实现了约 420 倍的加速比。

用户研究（第 6.7 节）从感知层面验证了方法的实用性。在内容可预测性、视觉保真度和场景清晰度三项指标上，DiffusionBrowser 的预览分别获得了 74.6%、72.9% 和 76.9% 的偏好率，远超 $x_0$ 预测。这证明多模态本征预览比高噪声下的原始 RGB 信号更能传达视频的最终内容与结构。

变体生成实验展示了交互操控的初步能力（图 10、11），但也暴露了局限性：操控目标可能在后续去噪中逐渐消失（图 12），论文认为这与解码器的分布外问题和容量限制有关。

实践建议

对于需要快速原型设计或计算资源有限的视频生成项目，DiffusionBrowser 提供了一个低开销的 “快速试错” 方案。从业者可将该框架集成到现有视频扩散模型管线中，在生成早期（如 10% 步骤）即向用户呈现关键的结构、运动和色彩预览。若预览不符合预期，可立即终止生成，从而将推理成本降低一个数量级。

开发者可利用多模态预览构建 “决策树” 式的交互创作工具：用户在任意节点基于深度或反照率预览进行分支选择，通过随机重噪声或潜在操控探索创意空间。这特别适用于概念设计、动画布局探索等场景，其中对场景的全局性把握远比像素级细节重要得多。

若计划使用操控功能，建议将操控目标限定在语义明确的早期信号（如全局色调、深度布局），避免剧烈、精细的几何修改，因其在当前框架下尚不稳定。未来的迭代应关注提升解码器分辨率、引入注意力机制以增强模态分离，并探索与文本提示的深度融合。