EasyV2V：一种高质量基于指令的视频编辑框架

论文信息

标题: EasyV2V: A High-quality Instruction-based Video Editing Framework

作者: Jinjie Mai, Chaoyang Wang, Guocheng Gordon Qian, et al.

发布日期: 2025-12-18

arXiv ID: 2512.16920v1

PDF 链接: 下载 PDF

3 分钟速览

研究问题：这篇论文要解决视频编辑中的一致性差、控制力弱、泛化能力有限这三大核心难题，因为这些是现有方法的主要瓶颈。
核心方法：通过重新设计数据引擎（组合现成专家模型、将图像编辑数据 “提升” 为视频对）、优化模型架构（序列拼接加轻量级 LoRA 微调）以及统一时空控制（用单一掩码视频同时规定编辑位置和时间），构建了一个基于指令的视频编辑框架。
关键结果：在 EditVerseBench 基准测试的 16 种编辑类型、160 个视频上，EasyV2V 取得了 7.73 分（满分 9 分）的 VLM 质量评分，在无参考图像的情况下，超越了所有对比方法，包括此前最佳方法和商业系统（表 2）。
主要局限：作者明确指出，推理时间约 1 分钟（见论文第 9 页 “Limitations”），无法用于实时应用。此外，框架目前不支持几何级的电影化相机位姿控制。
适合读者：生成式模型研究者、视频内容创作者、以及对 AI 驱动视觉内容编辑感兴趣的工程师和产品经理。

论文背景和研究动机

当前，图像编辑技术已取得飞速发展，但基于指令的视频编辑仍处于早期阶段。一个优秀的视频编辑器需要同时满足三项苛刻要求：帧间时空一致性、对编辑效果的灵活精准控制，以及对各种编辑任务的广泛泛化能力。

现有方法分两类：训练免方法虽然灵活但速度慢、效果脆弱；基于训练的方法则多集中于特定任务（如修复、风格化或人体动画），通用性不足。即使当前最先进的通用指令视频编辑器，在保真度和控制力上也远落后于其图像编辑的 “同门兄弟”。另一个根本性困境是，高质量、大规模的配对视频编辑数据集极为稀缺，远不能与图像编辑领域的数据丰度相比。

论文作者提出了一个关键洞察：预训练的文本到视频（T2V）生成模型本身已具备视频变换的潜能。图 2 展示了一个未经微调的预训练 T2V 模型即可自然模仿常见的编辑效果（如 “钢琴家变熊猫”）。这意味着，实现高质量视频编辑的本质，不是从头教会模型如何编辑，而是以最小的代价 “唤醒” 其内在能力。为此，论文对数据、架构和控制这三个设计维度进行了系统审视，旨在找出一套简单、高效且效果顶尖的实用配方。

核心方法和技术细节

EasyV2V 的核心方法体系围绕上述三个维度展开，形成了一个有机整体。

1. 数据策略：组合专家，提升数据多样性

论文提出了一种不同于以往 “单模型蒸馏” 或 “从头训练专家” 的全新数据策略（策略 C）：从有快速可逆性的现成模型中进行组合。具体来说，数据引擎通过以下途径生成海量配对视频：

组合视频专家：利用边缘↔视频、深度↔视频等模型生成风格化、视频风格迁移对。利用人体动画、物体移除/插入等专业模型生成针对性编辑对。
“提升” 图像编辑对：将跨指令高保真图像编辑数据集中的图像对，通过共同施加平滑的 2D 仿射变换（旋转、缩放、平移），转化为带有真实运动感的伪视频对。这既利用了图像数据的大规模和指令多样性，又为其注入了时序结构。
密集字幕视频延续：从密集字幕 T2V 数据集中，将一段描述动作的字幕转化为编辑指令，并将其前后的视频片段分别作为源视频和目标视频。这教会模型如何处理动作、过渡等稀有编辑。

最终，该数据引擎合成了约800 万个高质量训练对（表 1），是已发表工作中最全面的数据集之一。

2. 架构设计：最小化的有效适配

EasyV2V 基于预训练的 Wan-2.2-TI2V-5B 模型，对其进行了极简但高效的改造。

序列拼接而非通道拼接：输入源视频和噪声化的目标视频在潜在空间编码后，其令牌不是沿通道维度拼接，而是沿序列维度拼接。实验表明，这种方法虽增加少量令牌成本，但能让模型更清晰地分离源信号和待编辑信号，显著提升指令遵循和局部细节重建质量（表 3）。
参数高效微调：完全冻结原 T2V 主干权重，仅引入新的零初始化补丁嵌入层（用于源视频和掩码视频），并插入低秩适配（LoRA）权重进行微调。这避免了灾难性遗忘，训练更稳定，且支持后续模型的轻松替换。
统一的掩码注入：编辑掩码令牌通过逐元素加法直接注入到源视频令牌中，而不是作为独立序列拼接。这种设计保持了紧凑的令牌预算，对于掩码这类低频控制信号而言足够有效。

3. 控制机制：首次将时间控制提升到第一性

这是 EasyV2V 最亮眼的创新之一。用户往往不仅希望指定 “编辑哪里”，更希望控制 “编辑何时发生” 以及 “效果如何演变”。

论文通过一个二元掩码视频统一了空间和时间控制：掩码视频中的像素值决定 “哪里” 编辑（空间控制），帧序列则规划 “何时” 启动编辑及历时变化（时间控制）。配合数据管道中特意合成的 “编辑过渡” 样本（如线性混合），模型学会了产生平滑、自然的渐变效果，如 “让屋里吱呀作响的木门在 1.5 秒后开始散发微光”。这一设计让编辑的时间节奏由一种模糊的希望变成了精确可控的输入信号。

创新点和贡献

提出可复用、低成本的数据引擎：不依赖单一 “教师模型”，而是通过组合现成专家和提升图像编辑对，构建了多样性极高的 800 万级 V2V 数据集，并详尽分析了每种数据源对模型各类编辑能力的贡献（表 5）。
定义了视频编辑的设计空间：通过系统的消融实验，验证了序列拼接架构、LoRA 微调、掩码加法注入等关键设计选择的有效性，为后续研究提供了清晰的指引。
统一时空控制：首次将时间控制作为与空间控制同等重要的 “第一性信号”，通过一个掩码视频优雅地解决了编辑进度控制这一此前被忽视的核心需求。
以最小成本达到前沿性能：展现了一种 “四两拨千斤” 的哲学，通过极小参数量（0.64B）的 LoRA 适配，充分释放了大规模预训练视频模型的内在编辑能力，在多模态质量评分上达到了先进水平。

实验结果分析

论文在最新且全面的 EditVerseBench 基准上进行了评估，该基准包含 20 种编辑类型。EasyV2V 在 16 种支持的任务、共 160 个视频上与多种方法进行了对比。

总体性能领先：不使用参考图像的 EasyV2V 模型取得了7.73/9的 VLM 评分，不仅超越了 InsViE-1M、Señorita-2M 等已有训练方法，也显著优于训练免方法（如 TokenFlow），甚至超过了并发工作和闭源商业解决方案（如 Runway Aleph，得分 7.48）（表 2）。
编辑类型优势：在表 5 的消融中，专门针对人体动作变换训练的模型在该类型上表现优异（6.87 分，vs. 其它模型在该任务上最高仅 5.03 分），验证了动作增强数据的直接效用。
数据量与泛化能力：即使只用 1 万对数据训练，模型也能实现不错的编辑和泛化能力；将数据量提升至 100 万，在已见和未见编辑类型上的性能均持续提升（图 6），证明模型的编辑潜能可以被高效 “解锁”。

定性比较（图 5）则直观展示了 EasyV2V 在处理复杂指令（如 “给整个视频添加浓雾”、“转为带可见笔触的手绘动画”）和保持背景一致性上的明显优势。

实践建议

EasyV2V 框架的工程落地潜力巨大，以下是一些应用和部署的关键考量：

直接应用场景：其强大的指令遵循和时空可控性，使其非常适合专业视频后期、广告创意生成、虚拟人驱动等场景。尤其是参考图像+掩码视频的组合，可用于精确的品牌视觉资产替换、电影级场景元素变化，极大提升创作效率。
成本与部署优化：虽然单次推理需要约 1 分钟，但其架构的轻量级特性为优化提供了空间。由于仅需训练 0.64B 参数的 LoRA 适配器和零初始化嵌入层，当预训练骨干模型升级时，可极快、低成本地迁移和重新适配。模型训练显存需求较低（LoRA 序列拼接模式下仅需 37GB，见表 4），可在单张 H100 上进行，降低了训练门槛。
数据策略复用：论文提出的 “提升图像编辑对” 和 “从密集字幕视频生成动作数据” 的思路，是一种通用、低成本的纵向数据扩充方法论。对于任何缺少配对时序数据的序列转换任务（如风格迁移、视频修复），都可以借鉴此模式。
控制接口设计：开发者可以围绕 “掩码视频” 这一简易、可微的媒介，构建用户友好的创作前端。例如，用户只需在传统视频时间轴上绘制并关键帧插值出一个粗糙的掩码形状和渐变，即可驱动复杂、自然的编辑效果，大幅度降低高级视频特效的学习曲线。