AlcheMinT：面向多参考一致性视频生成的细粒度时间控制

AlcheMinT: Fine-grained Temporal Control for Multi-Reference Consistent Video Generation

arXiv: 2512.10943v1

论文信息

标题: AlcheMinT: Fine-grained Temporal Control for Multi-Reference Consistent Video Generation

作者: Sharath Girish, Viacheslav Ivanov, Tsai-Shien Chen, et al.

发布日期: 2025-12-11

arXiv ID: 2512.10943v1

PDF 链接: 下载 PDF

3 分钟速览

  • 研究问题：现有的主体驱动视频生成方法无法精细控制主体在视频中出现和消失的时点，只能让参考主体从头到尾出现，限制了分镜、广告等场景的应用。
  • 核心方法：提出 AlcheMinT，通过一种新的加权旋转位置编码(WeRoPE)，将时间戳信息注入参考图像的令牌，同时引入参考-文本绑定机制，实现对多主体出现/消失时点的精细控制。
  • 关键结果：在新建的 S2VTime 基准上，时间拟合误差(t-L2)显著低于已有方法(见表 1)，两参考设定下 t-L2 为 0.291，而对比方法最低为 0.341（MAGREF 为 0.365）。
  • 主要局限：生成视频中参考主体实际出现的时点与输入时间区间存在微小偏差，源于潜变量的时间下采样(因子为 4)以及 WeRoPE 产生的是渐进的注意力衰减而非锐利截止(论文附录 L 明确说明)。
  • 适合读者：关注可控视频生成、AI 视频编辑、具身智能内容创作的研究者和工程师；熟悉扩散模型与 Transformer 位置编码的读者能更好地理解技术设计。

论文背景和研究动机

大规模扩散模型在文本/图像驱动的视频生成上展现出高质量与高保真度。近两年，基于身份或主体的条件生成成为热门，用户可以上传参考图像，模型生成该主体所在的视频片段。然而，现有工作（如 Video Alchemist、ConceptMaster、SkyReels-A2 等）在条件注入时，参考主体的影响覆盖整个视频时长。现实视频由不同事件和镜头组成，多个主体在不同时间点出现或消失。这在故事板、广告、动画等应用中至关重要——不同角色、标识需要在用户指定的时间戳上出现和退出。

迄今，现有的主体参考模型缺乏直接的时间步条件控制，只能借助文本提示来表达时序意图。但当前视频模型难以真正理解并严格遵循这类文本指示。加之，参考模型的条件机制本身会产生偏向，使生成视频中主体持续出现。因此，论文提出 AlcheMinT，一个支持多参考主体及其特定时间区间的视频生成框架，精确控制每个主体在视频中的出现与消失。

核心方法和技术细节

AlcheMinT 建立在一个预训练的文本-视频隐扩散模型基础上，采用校正流(rectified flow)训练目标。方法的核心设计包括三个部分：

联合令牌流架构。不同于许多先前方法引入额外交叉注意力层来注入参考图像特征，AlcheMinT 直接用同一 VAE 对参考图像进行编码，将参考令牌按顺序拼接在视频令牌之后。这种设计避免增加新参数，且保持特征空间一致，有利于保持主体身份，也为后续的时序控制奠定基础。

加权旋转位置编码(WeRoPE)。这是实现时序控制的关键。视频扩散 Transformer (DiT) 使用 3D RoPE 对每个令牌的时空位置进行编码。对于参考令牌，论文探索了两种赋予时间位置的策略：MidRoPE——仅用参考时间区间的中点计算频率；WeRoPE——将中点频率与区间两端的频率按权重混合。设 wpw_p 为中点权重，wnw_n 为边界权重(取负值)，WeRoPE 的相位为：

wpθxytmid+wn(θxytl+θxytr)w_p \theta_{xyt_{\text{mid}}} + w_n (\theta_{xyt_l} + \theta_{xyt_r})

这种混合使得在区间内部视频令牌对参考令牌的注意力较高，区间外部注意力平滑衰减，产生自然的主体进入/退出效果(如图 3 所示)。与 MiNT 等工作中的 ReRoPE 不同，WeRoPE 不要求对视频令牌的 RoPE 进行重缩放，因此支持时间上可能重叠的多参考主体。

参考-文本绑定。为防止相似主体混淆，AlcheMinT 为每个参考令牌附加可学习的索引嵌入，并将实体词标签经文本编码器编码后输入模型。这一绑定使模型能将视频描述中的词语与对应参考图像准确关联，消融实验(第 4.3 节)表明，包含文本嵌入能在两参考场景下改善主体身份保持，避免外观混淆(图 5)。

数据收集流水线。论文建立了大规模数据采集流水线，包括：用 LLM 从视频描述中提取可接地的实体短语；利用 Grounding DINO 在多个帧上检测实体；用 SAM2 对检测到的实体进行前后双向追踪，得到每帧掩码。最终得到每个实体在视频中的精确时间区间和逐帧掩码标签。训练时可从当前帧掩码之外采样参考帧，结合模糊、缩放、旋转等增强，避免模型简单复制粘贴参考图。

创新点和贡献

1. 引入显式时间戳条件的多主体视频生成。AlcheMinT 首次在主体参考视频生成中支持用户指定每个主体出现的时间区间，而不仅仅是全片出现。

2. 提出加权 RoPE (WeRoPE)。通过可调权重的多频率组合，实现对注意力分数的平滑时间偏置，这是论文的方法核心，也具备通用性——可在其他需要时间感知条件的应用中复用。

3. 简洁有效的架构设计。采用序列拼接方式注入参考条件，不引入额外交叉注意力参数，模型扩展能力强，可接纳任意数量的参考视图。

4. 新数据集与评估基准。论文发布 S2VTime 基准，包含开放集实体的多主体评估协议，同时测量视频保真度与时间条件满足度。这为后续研究提供了前所未有的评估工具。

实验结果分析

论文在 S2VTime 基准上与 MAGREF、VACE、SkyReels 等前沿方法进行定量比较(表 1)。在两个参考主体的场景下，AlcheMinT 的时间误差 t-L2 为 0.291，时间区间交并比 t-IOU 为 0.413，均明显优于其他方法(MAGREF t-L2 0.365/t-IOU 0.353)。主体身份保持指标方面，论文方法取得了有竞争力的分数(如 CLIP_ref 0.775)，说明未因增加时间控制而牺牲生成质量。

在消融研究中(表 2)，论文证实：(1) 引入参考文本嵌入可提升身份保持(CLIP_ref 从 0.718 升至 0.724)；(2) WeRoPE 相比于 MidRoPE 能降低时间误差(t-L2 从 0.300 降至 0.288)并提高区间重叠度(t-IOU 从 0.453 升至 0.469)。

定性结果(图 4)显示 AlcheMinT 生成的视频在指定时间区间准确引入或移除参考主体，且主体运动与摄像机运动协调流畅，而对比方法要么无法遵守时间条件，要么生成相对静态的全片主体。

实践建议

对于希望将 AlcheMinT 的技术理念应用于实际系统的开发者和研究者：

  • 视频创作与广告工具：若产品需要让多个角色/产品在某个时刻进入或退出画面，可借鉴 WeRoPE 机制，将时间区间作为位置编码的一部分注入参考特征，无需重新设计整个主干网络。
  • 数据标注基础设施建设：论文的数据采集流水线提供了可行方案（LLM 实体提取→Grounding DINO→SAM2 追踪）。构建自己的时控视频数据集时，可复用这一流程，尤其注意实体去重与标记验证的过滤步骤。
  • 模型训练中的时间增强：训练时从当前视频帧掩码外部采样参考图像是一个有效的防复制增强策略，配合标准图像增强(模糊、旋转等)，有助于提升模型的泛化性和主体姿态多样性。
  • 权衡注意力衰减速度：WeRoPE 产生的平滑衰减对画面过渡自然性有益，但同时会造成生成时点与目标区间的微小偏差(论文附录 L 指出)。实践中若对时刻精度要求极高，可考虑在注意力掩码上叠加额外的时间门控或引入锐利边界校正。
  • 多条件 CFG 配置：论文采用分组的分类器自由引导策略（文本、引用、联合三项），避免指数级的条件组合增长。在实现多条件扩散推理时，可参照这种分组方案，在效果与计算开销间取得平衡。