推理大语言模型提升长篇电视剧中的说话人识别

Reasoning LLM Improves Speaker Recognition in Long-form TV Dramas

arXiv: 2607.02504v1

论文信息

标题: Reasoning LLM Improves Speaker Recognition in Long-form TV Dramas

作者: Yuxuan Li, Lingxi Xie, Xinyue Huo, et al.

发布日期: 2026-07-02

arXiv ID: 2607.02504v1

PDF 链接: 下载 PDF

3 分钟速览

  • 研究问题：这篇论文要解决的是长篇电视剧中的说话人识别（Speaker Recognition）问题，即准确地将每一句台词归属到对应的角色。
  • 核心方法：构建了一个大规模推理模型（LRM）框架 DramaSR-LRM，通过自主调用声纹相似度、视频描述、角色关系三类工具，综合多模态线索进行推理决策。
  • 关键结果：在 428K 条测试话语上，DramaSR-LRM 将说话人识别准确率从基线方法的 85.49% 提升至 87.79%（绝对增益 2.30%），在极短话语（<0.5 秒）上增益高达 9.20%（见表 2）。
  • 主要局限：方法依赖预分割的对话转录和事先提供的候选角色列表，尚未实现端到端的原始音频直接处理；声纹工具在标签传播阶段对于无视觉锚点的离屏说话处理能力有限。
  • 适合读者：从事多模态大模型、音视频理解、说话人日志/识别研究，以及对人机交互中角色归因技术感兴趣的研究者和工程师。

论文背景和研究动机

长篇电视剧的视频理解是当前多模态人工智能领域的前沿难题。与短视频或会议场景不同，电视剧通常包含数十小时的内容、上百个角色、复杂的人物关系和频繁的场景切换。要理解剧情脉络，一个基础性前提是准确知道 “谁在说话”——即说话人识别问题。

现有的说话人相关研究主要集中在三个方向：说话人日志（Speaker Diarization）关注 “谁在何时说话” 的时间分割问题；说话人验证（Speaker Verification）判断两段语音是否来自同一人；主动说话人检测（Active Speaker Detection）识别画面中哪个人物正在发声。然而，这些任务的传统基准（如 AMI、VoxConverse、AVA-AVD）通常在角色数量、视频时长和场景复杂度上与真实电视剧存在显著差距（见论文表 1）。

论文指出，电视剧中的说话人识别面临三大独特挑战：（1）短话语的声学特征不稳定，难以提取可靠的声纹；（2）多角色场景中存在背景噪声和重叠语音的干扰；（3）说话人可能处于画面之外或被遮挡，视觉线索缺失。针对这些问题，论文提出了两项核心贡献：大规模基准数据集 DramaSR-532K 和基于大推理模型的解决方案 DramaSR-LRM。

核心方法和技术细节

DramaSR-532K 基准数据集

该基准数据来源于 13 部长篇电视剧（3 部英文、10 部中文），总时长 525 小时，包含 532K 条标注对话线和 900+主要角色（见论文表 4）。数据构建分为两个阶段：

第一阶段（自动化预处理）：通过 OCR 技术提取硬编码字幕获取对话文本，利用面部识别建立角色图像库，再通过标签传播算法生成初始伪标签。声学特征提取采用 ERes2Net 模型，生成 192 维声纹向量（ℓ2\ell_2 归一化后用于余弦相似度计算）。

第二阶段（人工精标注）：标注员在专门的图形界面中同步查看视频、对话上下文、声纹统计信息和候选角色资料，对伪标签进行审核修正。标注协议涵盖了主要角色、次要角色（如 “黑衣人”、“Alice 的父亲”）、未知角色（标记为 [UNKNOWN]）和多人同时说话等特殊情况。标注员间一致性约 99.6%，估计最终标签噪声约 0.5%，远低于所有算法的错误率（10% 以上）（见论文第 3.2 节）。

DramaSR-LRM 推理框架

方法的核心是一个双阶段流程（见论文算法 1）：先通过标签传播进行初始化，再由大推理模型迭代精化。

标签传播初始化：利用时空邻域假设——若某角色的面部在 τ=30\tau=30 秒内出现，则该角色可能正在说话。通过贪婪聚类生成每个角色的种子声纹集，然后以递减的相似度阈值进行亲和传播，将话语分配给最匹配的角色。该基线方法在测试集上达到 85.49% 的准确率（见表 2）。

三类专用工具：

  • 声纹相似度工具（voice_sim\mathtt{voice\_sim}）：计算目标话语与各角色已知声纹之间的余弦相似度。
  • 视频描述工具（video_cap\mathtt{video\_cap}）：采用层次化策略，先用 Qwen3-VL-32B 生成 10–15 秒片段的密集视觉描述，再由 Qwen3-32B 汇总为高级情节摘要。
  • 角色关系工具（char_relation\mathtt{char\_relation}）：从对话中提取角色间的关系三元组（如父子、同事、恋人），构建动态关系本体。

LRM 训练：模型采用 Qwen3-8B 作为骨干，训练分为两阶段：（1）使用 Gemini-3-Pro 生成的链式思考轨迹进行监督微调（SFT），训练数据精选了约 20% 的 “困难样本”（包括基线方法错误归因的、声学相似度边缘模糊的、以及部分正确样本作为平衡）；（2）采用 GRPO 算法进行强化学习后训练，奖励信号来自识别准确率（二元奖励）和格式合规性。

创新点和贡献

首次将大推理模型引入说话人识别：与传统的纯声学方法或简单的多模态融合不同，DramaSR-LRM 赋予模型自主调用多种工具、显式进行链式推理的能力。模型可以像人类分析师一样，综合声纹证据、画面内容、对话逻辑和人物关系来做出判断（见论文图 2 中的推理示例）。

多工具协作的推理架构：三种工具覆盖了听觉、视觉和语义三个维度，且具有不同的更新频率——声纹和角色关系在迭代精化过程中动态更新，而计算密集的视频描述保持静态。消融实验表明，声纹工具最为关键（移除后准确率从 87.79% 降至 72.61%），视频描述工具对短话语尤为有益，角色关系工具在处理 “爸爸”、“妈妈” 等称谓时提供有用线索（见表 3）。

有选择性的推理策略：并非对所有话语都用 LRM 推理，而是通过置信度采样（confidence sampling）仅在声纹相似度边缘模糊时（top-1 与 top-2 差值小于阈值 ρ\rho）才调用 LRM。这避免了在 “简单” 样本上引入幻觉，同时减少了约 80% 的推理开销（当 ρ=0.10\rho=0.10 时）。

实验结果分析

在跨剧集的泛化测试中（SFT 和 RL 训练仅使用 2 部中文剧集，测试覆盖剩余 11 部），DramaSR-LRM 展现了显著的跨体裁、跨语言迁移能力：英文剧集《Lost》上获得了 5.14% 的增益，《Friends》上获得 2.30% 的增益；快节奏战争剧《大秦帝国 2》上获得 4.06% 的增益（见论文第 5.2 节）。

在话语时长维度的分析中，极短话语（0–0.5 秒）上的表现尤为突出——基线准确率仅 67.45%，DramaSR-LRM 提升至 76.65%（增益 9.20%，见表 2）。这验证了在声学特征不可靠时，视觉和关系推理的补充价值。

论文还通过下游任务验证了说话人识别的实用价值：在基于 Qwen3-VL-32B 的视频问答中，使用 DramaSR-LRM 的说话人标签比无标签的准确率（21.6%）高 50 个百分点以上，比使用基线标签（70.3%）也提升了 1.7 个百分点至 72.0%，而使用真实标签可达到 80.8%，表明说话人识别仍有改进空间（见论文第 5.4 节）。

实践建议

对于希望在实际系统中落地说话人识别的工程团队，以下几点值得关注：

多模态冗余设计是应对复杂场景的关键：论文明确展示了单一模态（纯声学）在高角色密度、短语音、离屏说话等场景下的脆弱性。在系统设计时，应确保至少有两个独立证据来源可交叉验证，例如声纹+人脸检测、或声纹+对话上下文语义推理。

推理计算成本的精细化控制：置信度采样策略为大规模视频处理提供了良好的效率-准确率权衡。在生产环境中，可根据具体剧集的特点动态调整阈值 ρ\rho——对于声学环境干净、角色固定的场景使用保守阈值，对于快节奏、多角色场景放宽阈值以触发更多推理修正（见论文图 3）。

面向下游任务的端到端优化：说话人识别本身并非最终目标，而是为视频摘要、剧情理解、问答等任务服务的。在实践中，应将说话人识别的评估与下游任务的表现挂钩，而非仅追求单一的识别准确率指标。论文中视频问答的增益数据（从 70.3% 到 72.0%）表明，即便是小幅的说话人识别提升也能在下游产生可测量的影响。