TimeLens：基于多模态大语言模型的视频时间定位再思考

TimeLens: Rethinking Video Temporal Grounding with Multimodal LLMs

arXiv: 2512.14698v1

论文信息

标题: TimeLens: Rethinking Video Temporal Grounding with Multimodal LLMs

作者: Jun Zhang, Teng Wang, Yuying Ge, et al.

发布日期: 2025-12-16

arXiv ID: 2512.14698v1

PDF 链接: 下载 PDF

3 分钟速览

  • 研究问题：如何系统性地为多模态大语言模型（MLLMs）构建强大的视频时序定位（VTG）能力，解决模型 “知道发生了什么但不知道何时发生” 的核心缺陷。
  • 核心方法：从数据质量和算法设计两个维度展开。论文首先诊断并手工修正了现有 VTG 基准测试的严重标注错误，构建了高可靠性评估套件 TimeLens-Bench 和高质训练集 TimeLens-100K；在此基础上，系统探索了时间编码方式、训练范式（以无思考的强化学习为主）和优化策略。
  • 关键结果：基于 Qwen3-VL-8B 构建的 TimeLens-8B 模型在 TimeLens-Bench 上的 mIoU 达到 55.2%（Charades-TimeLens）至 65.5%（QVHighlights-TimeLens），在所有开源模型中达到最优，并超越了 GPT-5 和 Gemini-2.5-Flash 等商业模型（见表 1）。
  • 主要局限：TimeLens-100K 训练集是通过自动化流程重标注的，其质量依赖于教师模型（Gemini-2.5-Pro）的性能上限。论文未探索需要复杂推理的 VTG 场景，现有数据主要测试感知能力而非推理能力。
  • 适合读者：从事视频理解、多模态大模型对齐、或对强化学习在感知任务中应用感兴趣的研究者和工程师。对数据标注质量控制和基准测试设计有需求的从业者也值得阅读。

论文背景和研究动机

视频时序定位（Video Temporal Grounding, VTG）是视频理解的一项核心能力，要求模型根据一段文本查询，在视频中定位出对应事件发生的精确起止时间。尽管当前的多模态大语言模型在回答 “视频里发生了什么” 这类整体理解问题上表现出色，但在回答 “事件何时发生” 这一细粒度时间感知问题时却常常失败。

这种局限性的根源有二。其一，VTG 要求模型从粗粒度的语义聚合转向细粒度的时间感知，需要对长视频中密集的视觉动态进行精确建模；其二，精准标注事件的开始和结束时间极其困难，成本高昂。作者在论文中指出，随着 MLLMs 日益成为感知和推理系统的核心组件，为其注入鲁棒的时间感知能力已不再是可选项，而是必需项。

然而，作者在初步调查中发现了一个更根本的问题：现有的 VTG 基准测试（如 Charades-STA、ActivityNet Captions、QVHighlights）存在严重的质量问题。大量查询语句模糊、不唯一，甚至描述的事件在视频中根本不存在；时间标注也常常不准确。这些噪声不仅导致排行榜上的模型排名 “颠倒”——一些开源模型表现虚高，而真正强大的商业模型却被低估，更可能将整个研究社区的努力引向错误的方向。

为此，这篇论文没有提出一个 “全新” 的模型架构，而是选择做一项 “简单、增量但必要” 的基础工作：系统性地清理数据，并在可靠的数据基座上，重新审视和评估构建时间感知 MLLMs 的各种算法设计选择。

核心方法和技术细节

TimeLens 框架的工作流可以分为 “数据工程” 和 “算法设计” 两大并行模块，它们共同支撑起最终的高性能模型。

数据质量：从诊断到重建

作者首先为 VTG 数据定义了严格的质量标准。输入（查询）必须清晰、事件必须真实存在于视频中、同一视频内的所有查询必须唯一，且不能含有泄漏时间位置信息的词（如 “片尾字幕”）。输出（时间片段）必须精确且完备，即标注的区间内不能包含与查询无关的内容，区间外也不能再有符合查询描述的事件。

基于此标准，论文采用 “先诊断、后修正” 的流程对三个主流基准测试进行人工审核。关键设计在于，同一位标注员同时负责错误发现和修正，这既提升了效率，也加深了标注员对错误类型的认知，从而减少引入新错误的可能。修正后的基准测试被统一命名为 TimeLens-Bench。

诊断结果触目惊心：以 Charades-STA 为例，20.6% 的样本存在查询不唯一的问题，34.9% 的样本存在标注精度问题（见图 4）。使用 TimeLens-Bench 重新评估模型时，模型排名发生了剧烈变化。原本在旧基准上表现 “优异” 的开源模型分数骤降，而 Gemini-2.5-Pro 等商业模型的表现则显著回升，更符合实际用户体验（见图 2a）。

对于更大规模的训练数据，手工修正成本过高。论文转而采用自动化重标注管道，利用当时性能最强的 VTG 模型（Gemini-2.5-Pro）对多个源数据集进行重新标注，最终构建了包含约 2 万个视频、10 万条高质量标注的 TimeLens-100K 训练集。实验证实，仅将训练数据从原始噪声版本替换为 TimeLens-100K，模型性能就有显著提升（见表 5）。

算法设计：洞察与实践

在干净的数据之上，论文对模型架构和训练策略进行了系统消融研究，得出数个关键结论。

结论 1：交错式文本时间戳编码最优（见第 5.1 节，表 2）。时间编码旨在让模型感知每一帧的绝对时间位置。论文对比了三类方法：（a）基于位置嵌入的扩展（如 Qwen2.5-VL 的 MRoPE），（b）将时间戳直接渲染到画面上的视觉叠加法，以及（c）文本编码法。文本编码法又分为非交错式（在提示词开头集中说明）和交错式（将时间戳文本令牌插在每帧的视觉令牌之前）。结果表明，使用 “真实秒数” 的交错式文本前缀方案以最低的复杂度实现了最佳性能。基于位置嵌入的方法效果不佳，且需改动模型底层架构，实用性受限。

结论 2：纯 “无思考” 强化学习范式最高效（见第 5.2 节，表 3）。论文对比了监督微调（SFT）、带思维链的 RLVR 和无思维链的 RLVR 三种训练范式。结果非常明确：无思考的强化学习在模型性能和训练效率上都全面胜出。增加 SFT 预热阶段或要求模型先 “思考” 再回答，均未带来增益。作者的分析认为，VTG 任务本质上是一个感知主导的任务，依赖直觉和本能，而非复杂的逻辑推理。实验中，当被迫进行 “思考” 时，模型的思考长度会随训练逐渐缩短，最终退化为简单的感知描述（见图 8）。

结论 3：RLVR 训练的两大实用技巧（见第 5.3 节）。在 RLVR 训练中，论文发现：（1）早停法至关重要。训练应在奖励指标（时序 IoU 和组内奖励标准差）趋于平稳时立即停止，继续训练会导致过拟合并损害性能（见图 6）。（2）基于难度的数据采样是提升性能的关键。通过使用待训练模型进行离线推理，计算每条样本的 IoU 并据此估计难度，然后进行高斯采样，筛选出对模型有足够挑战性的样本进行训练，可将性能推向新高（见图 7）。

创新点和贡献

TimeLens 工作最主要的贡献不在于算法上的 “颠覆式创新”，而在于其对基础问题的大胆揭露和系统性的工程实践，为社区提供了一个更可靠的基座。

  1. 揭露并修复了 VTG 领域的数据危机：论文首次系统性地量化了 VTG 基准测试中高达 30% 以上的错误率，并通过严格的人工修正和自动化重标注，提供了 TimeLens-Bench 和 TimeLens-100K 两套高质量数据套件，从根本上矫正了被噪声扭曲的评价体系。
  2. 确立了简洁有效的算法设计原则：通过严格的受控实验，论文澄清了 VTG 任务中哪些设计要素是真正有效的。它证明了复杂的架构改动（如修改位置编码）和训练流程（如思维链）往往是不必要的，交错式文本时间编码和纯无思考 RLVR 构成了一个简洁且强大的算法基座。
  3. 提供了强力的开源基线模型：TimeLens 系列模型以优秀的性能，证明了开源方案可以通过扎实的工程优化，在 VTG 这一关键能力上超越 GPT-5 等顶级商业模型，有力地推动了该领域的民主化进程。

实验结果分析

论文在 TimeLens-Bench 的三个子集上进行了全面评测。

  • 与商业模型的对比：在分别基于 Qwen2.5-VL-7B 和 Qwen3-VL-8B 构建的 TimeLens-7B 和 TimeLens-8B 模型中，后者展现了最强性能。在 QVHighlights-TimeLens 上，其 mIoU 达到 65.5%，显著超过了 Gemini-2.5-Flash 的 64.3% 和 GPT-5 的 56.8%（见表 1）。
  • 通用能力的保持：评估模型在视频综合理解基准 VideoMME 上的表现后发现，TimeLens-7B 的整体准确率为 65.7%，与其基座模型 Qwen2.5-VL-7B 的 65.1% 相当（见表 10）。这证实了 TimeLens 的优化策略并未损害模型的通用视频理解能力。
  • 各子模块的性能增益：论文以图表形式清晰地呈现了从数据优化到算法改进每一步带来的累积性能提升（见图 2b），展示了整个技术方案的稳健性。例如，在从原始噪声数据切换到 TimeLens-100K 后，模型的平均性能得到了第一次跃升，随后在 RLVR 训练阶段通过应用早停和难度采样策略，性能得以继续攀升。

实践建议

对于希望在实际系统中落地视频时序定位能力的团队，TimeLens 的研究提供了以下几条切实可行的建议：

  1. 优先清洗评估和训练数据：不要盲目信任公开数据集的质量。可以先投入资源，对核心业务场景下的数据进行一轮质量审计和修正。TimeLens 的工作表明，数据修复带来的提升远超许多复杂的模型调优。
  2. 从简洁的模型架构开始：在时间编码上，无需急于实现复杂的位置编码修改，可以优先尝试交错式文本前缀方案。这种方法实现简单，只需在数据预处理环节将时间戳文本插入帧序列，且效果已被验证为最优。
  3. 直接使用无思考的 RLVR 进行微调：对于时序定位这类感知型任务，可以跳过传统的 SFT 阶段和复杂的思维链奖励设计，直接采用目标明确的强化学习进行微调。奖励函数可以直接定义为预测片段与真实片段的时序 IoU，简单直接且有效。
  4. 关注强化学习训练的早停信号和样本构成：在 RLVR 训练过程中，应密切监控奖励曲线，一旦进入平台期就果断停止训练以避免过拟合。同时，要多轮筛选对当前模型而言难度较高的样本进行训练，这比盲目堆砌数据量要高效得多。