SpaceTimePilot: 跨时空动态场景生成渲染

论文信息

标题: SpaceTimePilot: Generative Rendering of Dynamic Scenes Across Space and Time

作者: Zhening Huang, Hyeonho Jeong, Xuelin Chen, et al.

发布日期: 2025-12-31

arXiv ID: 2512.25075v1

PDF 链接: 下载 PDF

3 分钟速览

• 研究问题：这篇论文要解决什么 给定一段单目视频，如何以生成式渲染的方式，同时独立控制新生成视频的相机视角与场景动态的播放速度、方向，实现空间与时间两个维度的自由探索。

• 核心方法：用什么办法解决 在视频扩散模型中引入一种 “动画时间嵌入” 机制，把相机控制与时序控制解耦为两个独立信号；同时提出时域扭曲数据增强策略，并构建了一个全覆盖相机—时间网格的合成数据集 Cam×Time 来提供稠密监督。

• 关键结果：最重要的一个结论或数字 在包含方向控制、速度控制与子弹时间三类时间操控任务的测试中，SpaceTimePilot 的平均 PSNR 达到 21.16 dB，比使用联合数据集训练的基线方法（17.86 dB）和简单帧重排方法（15.52 dB）均有大幅提升（见表 2）。

• 主要局限：作者自己承认的、或方法本身固有的限制 合成数据集 Cam×Time 的场景与角色虽然多样，但仍局限于 Blender 渲染的室内外环境，与真实世界视频在光照、纹理和运动复杂性上存在差距；此外，长视频生成依赖多轮自回归策略，累积误差可能影响长序列的时空一致性。

• 适合读者：什么背景的人值得读 关注视频生成、新视角合成、4D 场景重建以及扩散模型可控性研究的工程师与研究人员；对动态场景重打光、重定时、子弹时间等视频特效创作感兴趣的从业者也可以从中获得启发。

论文背景和研究动机

视频实质上是三维世界随时间演化的二维投影，其中蕴含两类基本的生成因素：空间变化（相机视角）与时间演化（场景动态）。长期以来，从观测视频中理解和解耦这两类因素，一直是场景理解、4D 重建、视频编辑以及生成式渲染等任务的核心挑战。

现有方法多沿两条路径探索这一问题。一类方法先进行显式的 4D 重建（如动态 NeRF 或动态高斯泼溅），再重新渲染场景。这些方法虽能在一定程度上同时建模空间与时间变化，但重建过程本身计算成本高昂，且在新视角下容易产生显著伪影。另一类方法借助视频扩散模型，在轻量级点云表征或纯相机参数条件下生成新视角，尽量避免重型 4D 重建。然而，这些工作在空间控制上进步明显，却几乎无法对时间维度进行操纵：它们可以改变相机轨迹，却锁死了场景动态的播放方向和速度。

更关键的是，当前没有任何公开数据集能够提供同一动态场景在连续时间变化下的配对视频，这使得模型难以学到真正的时间控制信号。已有工作或联合多个静态与动态数据集进行训练，试图向模型注入时间差异信息，但静态场景只能提供 “单帧时间模式”，提供的监督极为有限，最终导致相机控制与时序控制之间出现纠缠或不稳定行为。

正是基于这一缺口，作者提出了 SpaceTimePilot，目标是在一个统一的视频扩散模型内，实现对相机视角和场景动态的独立、连续、自由的控制，使给定一段单目视频就能 “穿梭” 于该场景的任意空间位置和任意时间状态。

核心方法和技术细节

SpaceTimePilot 建立在最新的文本生成视频扩散模型之上，采用 3D 变分自编码器进行潜在压缩，配合 Transformer 结构的去噪模型。整个方法的核心在于 “解耦” 二字，从三个方面系统推进了这一目标。

时间表示与时域嵌入。 作者引入一种名为 “动画时间” 的参数 $\mathbf{t}\in\mathbb{R}^{F}$，显式描述目标视频中每一帧对应源视频的哪一个时间状态。举例来说，若 $\mathbf{t}_{\text{trg}}$ 为一个常值向量，则合成视频将被锁定在源视频的某一固定时刻，从而产生子弹时间效果；若 $\mathbf{t}_{\text{trg}}$ 与帧索引反向排列，则生成倒放效果。

在具体实现中，动画时间嵌入模块 $\mathcal{E}_{\text{ani}}$ 采用正弦位置编码将源视频与目标视频的时间信号 $\mathbf{t}_{\text{src}},\mathbf{t}_{\text{trg}}$ 分别映射为嵌入，再通过两层一维卷积压缩到潜在帧维度，然后直接叠加到视频令牌和相机特征之上。这一设计使得视频令牌同时携带来自相机轨迹 $\mathbf{c}$ 和动画时间 $\mathbf{t}$ 的双重控制信号，并在训练中学会各自独立发挥作用。

时域扭曲数据增强。 为了给模型提供多样化的时间控制监督，作者提出了一种简单却有效的时域扭曲训练策略。在训练阶段，对目标视频片段应用非线性时间重映射函数 $\tau(\cdot)$，构造出倒放、变速、冻结、分段慢动作、锯齿状反复运动等多种时间模式，而源视频始终保持标准前向时序。这样，模型在大量配对数据中看到清晰的 “同一场景、不同时间流” 的信号，从而逐步学会将相机运动与场景动态解耦。

Cam×Time 合成数据集。 为进一步提升控制的精细度与连续性，论文构建了 Cam×Time 数据集。该数据集在 Blender 中渲染，为每个场景在一条相机轨迹和一段动画序列上，穷举式地采满相机—时间的完整网格（图 4）。这样不仅对角帧可以作为源视频，任意连续子序列都能构成训练对，使模型接触到的时空组合极其丰富。论文指出，该数据集包含 500 段动画，每条动画配有三条相机路径与 120 帧全网格渲染，最终合计 18 万段视频，为时空解耦提供了稠密监督。

精确的相机—时间联合条件化。 与以往工作只使用目标相机轨迹不同，SpaceTimePilot 在设计上将源视频的相机轨迹 $\mathbf{c}_{\text{src}}$ 与目标视频的相机轨迹 $\mathbf{c}_{\text{trg}}$ 同时注入模型（式 3）。这一改进解决了过去方法必须假定源与目标首帧相同才能保持空间一致的问题，使得模型可以从任意帧开始生成，这对于实现大角度子弹时间以及长视频自回归生成至关重要。

创新点和贡献

论文的主要创新可以归纳为三个层面。

第一是时空解耦范式的提出。作者首次在单一视频扩散模型中，将时间控制提升到与相机控制同等独立的地位，使模型能够沿任意空间—时间轨迹连续渲染动态场景（图 2），效果涵盖慢动作、倒放、子弹时间以及复合轨迹。

第二是简单高效的时间扭曲训练策略。这一方法无需额外采集实际多时态配对视频，仅通过对现有多视角动态数据集的帧重排，就构造出丰富的时序监督信号。论文的消融实验表明，仅引入时域扭曲增强，就能让模型学到显著优于 “联合静态数据集” 策略的时间控制能力（图 14）。

第三是Cam×Time 数据集的构建与公开。该数据集首次提供完全布满相机—时间网格的动态场景视频，为新视角合成与时间操控的双任务联合训练建立了基准。作者承诺公开发布，有望推动精细时空建模方向的后续研究。

此外，源感知相机条件化设计和一维卷积时间嵌入的提出，也是方法能够在第一帧自由控制相机位姿的同时保持精确时序锁定能力的关键工程贡献。

实验结果分析

时间控制定量评价。 在 Cam×Time 测试集的 50 个场景上，固定相机位姿、仅变化时间控制信号的实验中，SpaceTimePilot 在方向控制、速度变化和子弹时间三种子任务上的平均 PSNR 达 21.16 dB，较联合数据集训练的基线 17.86 dB 和简单帧重排的 15.52 dB 均有显著提升（表 2）。与之对应的 SSIM 从 0.73 提升到 0.77，LPIPS 从 0.31 降至 0.18，表明生成结果在结构保真度和感知相似度上都更优。

相机控制定量评价。 在真实视频集上评估相机轨迹精度时，论文设计了相对与绝对两种协议（表 4）。对于需准确对齐初始位姿的绝对协议，SpaceTimePilot 在 RTA@30 指标上达到 54.44%，而基线最高仅为 25.93%；源相机条件化的引入使得相对旋转误差从 4.26° 降至 2.71°，说明模型不仅遵循目标轨迹形状，还能可靠地锚定首帧位姿。

视觉质量评价。 在 VBench 的六个维度上，SpaceTimePilot 的图像质量、背景一致性、运动平滑度、主体一致性、闪烁度和美学评分与基线方法持平或略优（表 3），表明在增加时间控制自由度后，基础生成质量并未受损。

消融实验。 时间嵌入模块的消融（表 5）显示：采用一维卷积压缩 $F$ 帧到 $F'$ 潜在帧的方式，比直接按潜在帧均匀采样的 PSNR 提高 0.65 dB；进一步引入 Cam×Time 后，PSNR 跃升至 21.16 dB，相比仅用现有数据集训练的 14.75 dB 提升了超过 6 dB，凸显出稠密时空监督的不可替代性。定性对比也表明，仅靠静态场景数据集或者 MLP 压缩器，都会导致子弹时间下的相机锁死或严重伪影（图 7、图 15）。

实践建议

对于从事视频生成或动态场景合成的工程团队，以下几点值得参考：

1. 显式解耦空间与时间信号。 在条件扩散模型中，为相机位姿与场景时序分别设计独立的嵌入通道，并采用加法叠加到视频令牌上，是避免两类控制信号相互干扰的有效手段。实际落地时可复用论文中 “正弦编码 + 一维卷积” 的时域嵌入方案，该方案在实验中展现出优于 RoPE 和 MLP 的鲁棒性。

2. 低成本构造时间操控数据集。 时域扭曲增强策略的一大优势在于无需额外拍摄，可直接在多视角视频上通过帧索引重排模拟慢动作、倒放、冻结等效果。对于已有动态数据集的团队，这是一种几乎零成本却成果显著的训练方案，可以迅速赋予模型基本的时间控制能力。

3. 全网格合成数据支撑精细操控。 当产品需要实现子弹时间、任意时间点冻结或非单调播放等高级功能时，仅靠数据增强可能不足以提供足够稠密的监督。此时可参考 Cam×Time 的思路，在渲染引擎中预先生成相机—时间全覆盖的序列，用于精调模型，使控制精度和视觉效果同时达到较高水平。

4. 注意长视频自回归一致性问题。 SpaceTimePilot 虽通过记忆机制和源相机条件化缓解了多轮生成时的误差累积，但长序列的时空一致性仍是开放挑战。落地时应考虑结合几何一致性损失或轻量级后处理对齐模块，以保证多段拼接后的视觉连贯性。