PyraTok：面向视频理解与生成的语言对齐金字塔式分词器

论文信息

标题: PyraTok: Language-Aligned Pyramidal Tokenizer for Video Understanding and Generation

作者: Onkar Susladkar, Tushar Prakash, Adheesh Juvekar, et al.

发布日期: 2026-01-22

arXiv ID: 2601.16210v1

PDF 链接: 下载 PDF

3 分钟速览

• 研究问题：现有视频离散 VAE 通常只在单一尺度学习视觉码本，且语言监督较浅，导致跨模态对齐差、零样本迁移能力弱，无法充分利用视频的多尺度语义结构。
• 核心方法：提出 PyraTok，一种语言对齐的金字塔式视频分词器，通过 Language-aligned Pyramidal Quantization (LaPQ) 模块，在编码器的多个深度层级进行文本引导的离散量化，并结合全局自回归对齐目标，生成语义紧凑、多尺度对齐的视频 token 序列。
• 关键结果：在 10 个基准上全面验证，视频重建 PSNR 达到 35.72（WebVid-10M）和 36.05（COCO-Val），相比此前最佳的语义 VAE SweetTok 提升超过 10%（见论文表 1）；零样本视频语义分割在 OVIS 上 mAP 超越此前最佳方法 217.9%（见论文表 3）。
• 主要局限：论文未明确讨论模型在极长时间视频上的扩展性，且训练依赖大规模多分辨率视频数据与多阶段训练策略，算力需求较高。金字塔量化块的数量固定为 4，未对不同任务的最优层级配置进行深入分析。
• 适合读者：从事视频生成、视频理解、视觉-语言多模态学习、视觉分词器设计的研究者与工程师，以及对离散潜变量模型感兴趣的深度学习从业者。

论文背景和研究动机

近年来，文本到视频生成（Text-to-Video）和多模态视频理解系统取得了飞速发展。这类系统的核心组件之一是视频离散 VAE，它将高维像素空间压缩为紧凑的离散潜变量序列，极大降低了后续扩散或自回归模型的建模成本。然而，现有方法普遍存在三大局限：

首先，单尺度量化。无论是经典的 VQ-VAE 还是后续的 MAGVITv2，都仅在编码器输出端进行一次性量化，无法利用 VAE 编码器自身天然的多尺度层次结构。低层特征包含丰富的局部细节，高层特征蕴含全局语义，单尺度设计必然会丢失某一类信息。

其次，码本规模受限。多数方法使用的码本大小在 4K–8K 个 token，虽然足以应对基本视觉模式，但在面对大规模开放域数据时，表现力不足，限制了跨模态对齐的空间。

第三，语言对齐薄弱。近年虽有 TokenFlow、VideoVAE+ 等工作尝试将文本监督引入 VAE 训练，但它们的语言注入往往只发生在编码器输出后的单一点位，容易引发语义漂移与时间不一致——局部视觉 token 无法稳定地与全局文本意图保持对齐。

PyraTok 正是针对上述三个痛点提出的系统性解决方案。其核心理念是：让视频离散潜变量在多个空间-时间分辨率上同时与语言信号对齐，从而在保持高压缩率和重建质量的前提下，大幅提升下游任务（尤其是零样本任务）的跨模态迁移能力。

核心方法和技术细节

金字塔式语言对齐量化（LaPQ）

PyraTok 的核心创新在于 Language-aligned Pyramidal Quantization (LaPQ) 模块。给定一个掩码输入视频 $\tilde{X}$，预训练的编码器 $\mathcal{E}_n$ 经过 $L$ 个层级从中提取多尺度特征 $F^{(l)}$，其中 $l=1,\dots,L$。在每一层，引入一个量化块 $\mathcal{Q}_l$，它接收三个输入：当前层的编码器特征 $F^{(l)}$、上一层的量化表示 $q^{(l-1)}$、以及文本查询嵌入 $e_t$，并输出当前层的语义量化表示：

$$q^{(l)} = \mathcal{Q}_l(q^{(l-1)}, F^{(l)}, e_t)$$

这种设计通过编码器的侧向连接（lateral connections）保留了各层的空间-时间局部性，同时利用跨注意力机制将文本语义注入到不同抽象层级的视觉特征中。论文中的可视化结果（图 4）清晰地展示了从浅层到深层，量化 token 的语义结构逐渐清晰，例如道路车道线、车辆和背景元素的分离在更深层变得更为显著。

双重语义对齐策略

PyraTok 的语义对齐体现在两个层面：

局部对齐：在每个量化块 $\mathcal{Q}_l$ 内部，采用 Lookup-Free Quantization (LFQ)，使用一个大的二进制码本 $C_v = \{-1, 1\}^{\log_2 K}$（默认 $K\approx48\text{K}$）进行离散化。码本在所有层级间共享，极大降低了参数增长。训练时通过一个分层语义码本损失函数进行约束，该损失包含五个项：

• 视觉承诺损失：将量化特征拉向二进制码向量
• 熵正则化：鼓励近 one-hot 的锐利分配
• 层级一致性 KL 项：保持跨层级语义一致
• 文本条件对齐 KL 项：使量化分配与文本嵌入 $e_t$ 对齐
• 文本–码本对齐 KL 项：使码本本身也与语言语义对齐

全局对齐：在得到所有层级的离散 token 后，PyraTok 引入了自回归对齐损失 $\mathcal{L}_{\text{AR}}$。具体做法是，将文本嵌入 $e_t$ 和所有离散 token 按照层级顺序拼接成序列，输入到一个预训练的视觉语言模型（VLM，默认为 Qwen2.5-VL）的解码器中，自回归地预测每个视觉 token。这一过程迫使离散潜变量在全局层面保持与文本的语义一致性和时间连贯性。

训练架构与正则化

PyraTok 的编码器和解码器基于预训练的 Wan 2.2 视频 VAE，并保持冻结以保留高保真重建能力。为了高效适配文本条件监督，在编码器各块插入了低秩适配器（LoRA），同时引入漂移正则化项 $\mathcal{L}_{\text{drift}} = D_{KL}(\mathcal{E}_n(\tilde{X}) \| E_n(\tilde{X}))$，将适配后的特征锚定到冻结的 DINOv3 参考编码器的特征分布上，防止语义学习破坏视觉先验。

创新点和贡献

1. 多尺度金字塔量化框架：首次提出在 VAE 编码器多个深度层级进行语言对齐的离散量化，实现从粗到细的跨模态语义捕获。这一设计突破了单尺度量化的固有限制。

2. 大码本高效利用：通过共享 LFQ 二进制码本和层级联合训练，将有效码本规模扩展至 ~48K，且利用率随分辨率提升可达 97%（见论文图 30），在保持高效推理的同时显著提升表现力。

3. 双重语义对齐机制：局部 token 级文本条件量化与全局序列级自回归预测相结合，从多粒度防止语义漂移，生成的离散潜变量天然适合零样本下游任务。

4. 首次实现离散 VAE 的零样本视频语义分割：论文报告在 YouTube-VIS 2021 上 mAP 达到 24.54，超越此前零样本最佳方法 68.8%；在 OVIS 上 mAP 达到 8.9（见论文表 3），相对提升 217.9%，证明语言对齐的离散潜变量具备强大的开放域语义定位能力。

实验结果分析

视频重建质量：在 WebVid-10M 和 COCO-Val 两个验证集上，PyraTok 的 PSNR 分别达到 35.72 和 36.05，SSIM 分别达到 0.879 和 0.885，LPIPS 分别降低至 0.066 和 0.071，全面超越所有对比方法（见论文表 1）。值得注意的是，即便与不引入语言监督的纯视觉 VAE（如 3D-MBQ-VAE、LARP）相比，PyraTok 仍保持优势，表明语言对齐并未牺牲重建保真度。

文本到视频生成：将 PyraTok 作为 tokenizer 替换到 MotionAura、MAGVITv2、OmniGenV2 的 VAE 组件中，FVD 降低 9–22 点，文本一致性指标 TC 提升 20–27 点（见论文表 2）。定性结果（图 7）显示细节更清晰，结构更一致。

视频理解任务：在 MVBench 视频问答上达到 86.03% 准确率（见论文表 5），超越 InternVL3-78B、Qwen2.5VL-7B 等大模型。在时序动作定位任务中，零样本设置下 THUMOS14 平均 mAP 达到 33.17，ActivityNet 达到 29.11（见论文表 4），不仅超出此前零样本方法，甚至优于部分有监督方法。在视频分类上，Kinetics-400/600/700 准确率分别达到 78.43%/77.11%/74.08%（见论文表 5）。

消融实验：逐步移除 LaPQ（金字塔语言对齐量化）、文本引导、金字塔设计等组件，重建指标均显著下降（见论文表 6），验证了每一模块的必要性。量化块数量从 2 增至 4 带来持续改进，损失函数各组件（漂移损失、自回归损失、码本对齐项）的逐一移除实验均表明其在语义对齐中的关键作用。

实践建议

对于希望将 PyraTok 应用于实际项目的工程师和研究者，以下几点值得关注：

1. 模型部署与推理：PyraTok 使用预训练 VAE 和冻结编码器/解码器，仅需存储 LoRA 适配器权重和量化模块参数，相比完整微调大幅节省存储。论文报告 Latency 为 492ms（256×256，25 帧，V100），在实时性要求不高的场景可直接部署。对于需要更低延迟的应用，可考虑减少量化块数量（如 3 个），实验表明这仍能保持较强性能（见论文表 6 中的 3 块配置可达 35.14 PSNR）。

2. 零样本任务迁移：PyraTok 的最强优势在于其语言对齐的离散潜变量可以直接用于零样本任务。如果你想做零样本视频分割，可参考论文 B.1 节的方法：用最后量化块的 token 与文本单位计算余弦相似度，上采样后经 3D CRF 精炼得到掩码。这种方法无需额外训练，适合快速原型验证和开放域场景。

3. 作为其他生成模型的 tokenizer：论文 4.1 节和 B.6 节的实验表明，PyraTok 可直接替换 MAGVITv2、MotionAura、OmniGenV2 的默认 VAE，仅需微调先验模型即可获得一致的质量提升。在实际项目中，如果你想提升现有管线中的视频生成质量，可先训练 PyraTok，再用少量数据微调先验，这比重新训练整个系统成本低得多。

4. 数据与训练策略：论文采用了三阶段渐进式训练（自监督预训练 → 文本–视觉对齐 → 全分辨率微调），建议在实践中也遵循渐进式策略，先从较低分辨率开始建立稳定的语义对齐，再逐步扩展到 4K/8K。代码本利用率与分辨率密切相关（见论文图 30），若目标应用场景以高清视频为主（如 4K 电影素材），需确保训练数据包含足量高分辨率样本，以充分激活大码本的表征能力。

总的来说，PyraTok 为视频-语言系统提供了一个强基线 tokenizer，其核心价值在于将语义对齐从下游模型转移到了表征层，使得任何使用该 tokenizer 的生成或理解模型都天然具备更强的跨模态能力。