UNIEGO：以代理为中介的统一自我中心视频表示学习

论文信息

标题: UNIEGO: Proxies as Mediators for Unified Egocentric Video Representation Learning

作者: Wenhao Chi, Arkaprava Sinha, Dominick Reilly, et al.

发布日期: 2026-06-18

arXiv ID: 2606.20559v1

PDF 链接: 下载 PDF

3 分钟速览

研究问题：自我中心视频视角窄、遮挡严重且通常只依赖单一模态，难以捕捉人类动作的完整信息。本文试图从多个视角、多种模态和多个基础模型中提取互补知识，并在推理时仅用单一自我中心 RGB 视频就构建出更丰富、更具判别力的表征。
核心方法：提出两级层次化多教师蒸馏框架 UNIEGO。第一级用架构同质的代理模型将异质性教师（不同架构、视角、模态）的信号统一映射到自我中心特征空间；第二级通过选择性代理蒸馏（SPD），为每个样本动态挑选预测正确且置信度高的代理进行蒸馏，并以代理参数的凸组合作为统一模型的初始化。
关键结果：在 EgoExo‑Fitness、Assembly101、EgoExo4D 三个基准上，UNIEGO 在动作识别、视频检索和动作分割任务中均达到最优性能。尤其在 EgoExo‑Fitness 上，动作识别准确率较基线 TimeSformer 提升 +4.4%（见论文表 2a）。
主要局限：当前代理选择依赖 “预测类别正确且损失较小” 这一启发式准则，无法动态学习每个样本上各代理的最优权重，代理池的潜力未被完全挖掘（作者在第 6 节明确指出的局限性）。
适合读者：从事计算机视觉、视频理解、知识蒸馏、多模态学习，或关注可穿戴设备上高效感知模型的研究及工程人员。

论文背景和研究动机

自我中心视频（如头戴式相机拍摄）正广泛应用于增强现实、辅助机器人和操作流程分析，但其固有局限十分突出：相机随佩戴者移动、视野狭窄，手与物体频繁遮挡动作主体，同一动作在不同场景下表现差异巨大。仅靠单一 RGB 视频、单一模型学习到的表征，无法还原完整的动作语义。

然而，丰富的互补信息其实存在于其他可获得的信号中：外中心（exocentric）的固定相机能提供全局场景布局和完整身体姿态；深度和骨骼模态直接编码了几何结构与人体运动；大规模视觉基础模型（如 DINOv2、SigLIP、DepthAnything）则蕴含了多种预训练的表征先验。将这些差异巨大的信号统一收口到一个仅从自我中心视频运行的编码器中，是极富挑战的研究目标。

现有工作通常只利用一两种辅助信号，而本文希望同时整合九个教师模型，涵盖自我/外中心视角、RGB/深度/骨骼模态以及四种基础模型。这自然引出一个多教师知识蒸馏的范式，但直接让一个学生模型从这些架构、特征空间和优化目标完全异质的教师中学习，会导致 “表示鸿沟” 和 “冲突梯度”：骨骼模型基于图卷积结构，外中心 RGB 模型又以全局视角编码场景，硬性拉齐两者的特征会严重干扰优化。由此，论文提出了以代理模型为媒介的层次化蒸馏框架，从根本上消解这些障碍。

核心方法和技术细节

UNIEGO 的训练分两个层次，整体结构如论文图 2 所示。

第一级：代理学习（Proxy Learning） 为每位教师 $\mathcal{T}_r$ 训练一个与最终学生（UNIEGO）架构完全相同的代理模型 $\mathcal{P}_r$ 。代理的输入始终是自我中心视频，输出则为特征嵌入和动作 logits。蒸馏目标是最小化学生与教师特征的余弦距离和分类损失（公式 1）。这里最关键的设计在于：尽管九位教师的嵌入维度、表示风格各异（表 1），但所有代理共享同一视频 backbone（默认 TimeSformer），从而将异质的知识统一投射到了一个 “同质自我中心代理空间”。代理池自然地按视角分为自我中心代理 $\mathcal{P}_{ego}$ 和外中心代理 $\mathcal{P}_{exo}$ ，后续可根据可靠性动态选取。

第二级：代理合并与选择性代理蒸馏（SPD）

代理合并初始化：将 UNIEGO 的参数 $\theta_U$ 初始化为所有代理参数的凸组合 $\theta^*_{merge} = \sum_r \alpha^*_r \theta_r$ ，系数 $\alpha^*$ 通过最小化组合模型在训练集上的分类损失学习得到（公式 2）。论文基于局部凸性假设给出一个命题：该合并初始化的分类损失不高于任何一个单独代理的损失，为 UNIEGO 提供了一个位于平坦、良态区域且已编码所有代理共识的起点。
选择性代理蒸馏：对每个训练样本 $x_i^e$ ，先进行可靠性筛选——只保留预测类别正确的代理（公式 4），再从中选取交叉熵损失最小的 top‑K 个作为蒸馏源 $S_i$ 。若没有代理预测正确，则该样本完全跳过蒸馏，避免错误监督干扰。蒸馏损失融合了特征余弦距离和 logit 的 KL 散度（公式 5），最终 Level‑II 总损失还包含标准的分类交叉熵（公式 6）。推理时，只需单一自我中心视频送入 UNIEGO，无需任何代理或教师。

这种设计直接解决了多教师蒸馏的两大难题：代理学习弥合了表示鸿沟（图 3 中代理间 CKA 大幅高于教师间 CKA），而 SPD 则抑制了冲突梯度——论文证明直接多教师蒸馏的梯度冲突率高达 60‑70%，使用所有代理可降至 42‑50%，SPD 则进一步让蒸馏梯度与分类梯度维持一致（图 4 和 5）。

创新点和贡献

层次化代理媒介蒸馏框架：不是让自我中心学生直接面对异质教师，而是通过一组同构代理进行 “转译”，在架构和特征空间上均实现同质化，彻底消除表示鸿沟。
选择性代理蒸馏（SPD）：首次在自我中心视频学习中引入样本级自适应教师选择，仅从预测正确且置信度高的代理迁移知识，并允许没有可靠教师的样本完全退出蒸馏，显著缓解多源冲突梯度。
代理合并初始化：用可学习的凸组合将多代理参数融合为一个统一模型，使之在蒸馏开始时身处损失景观的平坦区域，数学上保证其初始化损失不高于任一单独代理（命题 1），为 SPD 提供稳定起点。
统一的自我中心编码器：UNIEGO 在九位教师（含自我/外中心视角、RGB/深度/骨骼和多类基础模型）的联合监督下，在三个挑战性基准的三个不同下游任务（动作识别、视频检索、动作分割）上均取得最优性能，且对视频 backbone 具有架构无关性，在 22M 参数的小模型 UniFormer‑S 上同样显著提升（表 5）。

实验结果分析

动作识别 在 EgoExo‑Fitness 上，UNIEGO 取得 84.7% 的 Top‑1 准确率，较基线 TimeSformer（80.3%）提升 +4.4%，较直接多教师蒸馏（81.5%）提升 +3.2%（表 2a）。Assembly101 上提升 +3.1%，EgoExo4D 上提升 +1.2%，且均优于现有最强蒸馏基线。值得注意的是，EgoExo4D 中外中心教师自身性能较弱，但 SPD 的自适应选择依然能筛选出可靠代理，使 UNIEGO 表现稳健。

视频检索 UNIEGO 在三个数据集上的 mAP 和 R@1 均优于单模型基线和直接多教师蒸馏，尤其在 EgoExo‑Fitness 上 mAP 从 0.474 提升至 0.543（表 3）。这意味着通过代理中介学习到的特征更具全局判别力，同类视频的嵌入更接近。

时序动作分割 在 Assembly101 上，直接多教师蒸馏反而导致分割性能退化（F1@10 从 16.2 降至 15.3），而 UNIEGO 提升至 19.6（表 4），证明层次化蒸馏能保护细粒度时序结构，避免混乱监督破坏帧级一致性。

消融与诊断

去掉代理学习直接蒸馏，准确率提升甚微；加上 SPD 则进一步提升；代理合并初始化再加入后达到最佳（表 6）。
选择性策略中 Top‑1 优于 Top‑2/3，也优于强制兼顾视角平衡的方案（表 8），说明样本级的自适应选择远比固定规则有效。
代理间线性 CKA 大幅高于教师间，验证了表示鸿沟被有效压缩（图 3）。梯度冲突率与余弦相似度曲线（图 4、5）证实 SPD 将冲突转化为协同。

实践建议

UNIEGO 的层次化代理蒸馏策略具有很强的工程落地价值，尤其适合部署在资源受限的自我中心设备（如 AR 眼镜、机器人头戴相机）上：

教师信号打包与复用：在训练阶段可以任意添加新的教师模型或传感器模态，只需训练一个新的代理，无需改变整体流程。这允许系统在离线收集的多源数据基础上不断扩展知识来源。
选择性蒸馏可作为在线质量监控：SPD 中正确性过滤的逻辑可以推广到实际系统中——若设备在运行时根据类似准则判断当前自我中心视角的质量（如严重遮挡），可选择不依赖该帧的表征进行决策，或请求辅助信息，从而实现鲁棒推理。
模型初始化的启发：代理合并的思想可用于模型热启动：当有多个专才模型分别在不同场景下表现优异时，可通过学习加权合并参数得到一个通用的初始化，再对下游任务微调，减少训练成本和过拟合风险。
轻量化 backbone 验证：UNIEGO 在小模型（如 UniFormer‑S）上依然有效，这意味着可在保持高性能的前提下将统一编码器部署到移动端或嵌入式计算平台，实现低延迟、低功耗的自我中心视频分析。

开发者可优先复现论文中的代理学习与 SPD 流程，并在自己的数据集上调试代理选择 K 值与损失权重，以平衡计算开销和性能。务必注意，当前代理选择是离线且基于训练集真值标签的，迁移到无标签或在线场景时需设计置信度估计机制，这正是论文指出的未来改进方向。