SimpliHuMoN：简化人体运动预测

论文信息

标题: SimpliHuMoN: Simplifying Human Motion Prediction

作者: Aadya Agrawal, Alexander Schwing

发布日期: 2026-03-04

arXiv ID: 2603.04399v1

PDF 链接: 下载 PDF

3 分钟速览

研究问题：这篇论文要解决人体运动预测领域中专有模型各自为政的问题，即姿态预测和轨迹预测被分开处理，导致统一模型难以在单个任务上达到最优。
核心方法：用一个仅由自注意力模块堆叠而成的 Transformer 解码器，同时处理历史观测和可学习的未来查询令牌，统一建模时空依赖关系。
关键结果：单个模型在姿态、轨迹、联合预测三个任务上均达到或超越专有模型的最优性能，且在联合预测任务上将 APE 误差降低了 10.3%（见论文表 1，MOCAP-UMPM 数据集）。
主要局限：模型将场景中的每个人视为独立个体，未显式建模人际交互，在需要强耦合互动的场景下表现不佳（见论文附录 F.2 失败案例分析）。
适合读者：从事时序预测、人体运动建模、多任务学习的研究者，以及关注简化模型设计范式的工程师。

论文背景和研究动机

人体运动预测包含两个紧密关联的子任务：轨迹预测（预测人体在空间中的位移路径）和姿态预测（预测身体各关节相对于根关节的运动）。由于人体运动具有高维、非线性和高度不确定的特性，过去的研究习惯将这两项任务分开处理，各自发展出复杂的专有架构。例如，姿态预测领域涌现了基于扩散模型的 BeLFusion、CoMusion 等方法，轨迹预测领域则出现了借助视觉语言模型的 TrajCLIP 等方法。

这种分工虽然在各自基准上推动了指标提升，却制造了一个 “基准效应” 困境：专有模型难以泛化，而试图统一预测的整体模型又无法在单任务排行榜上抗衡专有模型。论文作者指出，姿态和轨迹本质上受同一套物理动力学支配，却在建模时被强行割裂——这种割裂本身就值得被质疑。

作者的出发点是挑战当前 “越复杂越有效” 的研究趋势，探索一个简单、统一的架构能否在保持极简设计的同时，横跨所有任务并击败专有模型。

核心方法和技术细节

SimpleHuMoN 的核心架构极其简洁：一个由多层自注意力模块（self-attention）堆叠而成的 Transformer 解码器，不包含任何图卷积、频域变换（如 DCT）、社会交互模块或预训练视觉语言模型等外部组件。

输入处理：模型接收过去 $H$ 帧的历史观测，包含根关节轨迹 $T_{\text{past}} \in \mathbb{R}^{H \times 3}$ 和相对姿态 $P_{\text{past}} \in \mathbb{R}^{H \times M \times 3}$ （ $M$ 个关节相对于根关节的坐标）。根据任务类型，模型可单独处理轨迹、单独处理姿态，或同时处理两者。

处理流程如下：

轨迹部分：将根关节的 3D 坐标减去最后一帧的位置进行归一化，再通过线性层投影到 $d_{model}$ 维嵌入空间。
姿态部分：用两层 MLP（GELU 激活）将相对姿态向量映射到相同维度。
两条嵌入序列分别加入正弦位置编码和学习到的类型嵌入（区分 “轨迹” 或 “姿态” 标记），然后在序列维度上拼接，形成上下文张量 $\mathcal{C}$ 。

查询机制：借鉴 DETR 中的目标查询设计，模型维护一组可学习的查询令牌 $\mathcal{Q}_{in} \in \mathbb{R}^{F \times 3}$ ，对应未来 $F$ 帧。这些令牌同样经过投影、位置编码和类型嵌入处理，形成查询张量 $\mathcal{Q}$ 。

核心创新：统一自注意力。标准编码器-解码器架构会将 $\mathcal{C}$ 和 $\mathcal{Q}$ 分别送入编码器和解码器，通过交叉注意力连接。SimpliHuMoN 的做法截然不同：直接将 $\mathcal{C}$ 和 $\mathcal{Q}$ 沿时间维度拼接成 $[\mathcal{C}; \mathcal{Q}]$ ，送入同一组自注意力层。这允许每个标记与所有其他标记双向交互，无论是历史帧之间、查询帧之间，还是历史与查询之间。

消融实验（见论文表 11）表明，这种统一自注意力设计比 “自注意力+交叉注意力” 方案更有效，APE 误差降低了 6.6%，JPE 误差降低了 7.1%。作者通过注意力热力图（见图 5）展示了模型确实利用了这一双向信息流，在查询-查询交互象限也形成了明显的注意力模式。

多模态预测头：解码器输出的查询令牌经过单个线性投影，产生 $K$ 个并行分支，每个分支包含轨迹预测头（线性层）和姿态预测头（两层 MLP）。训练采用 “赢者通吃” 损失：仅对 $K$ 个假设中与真实未来距离最近的那一个反向传播梯度。这种设计鼓励 $K$ 个模式各自专精于不同类型的未来，而非产生微小的随机扰动。

创新点和贡献

本文的主要贡献并非技术组件的创新，而是一种设计哲学上的回归与整合。

首先，SimpliHuMoN 证明了一个结论：在合适的架构下，自注意力本身就足以捕捉人体运动所需的全部依赖关系。它不需要显式的图卷积来编码骨骼结构，不需要频域变换来增强周期模式，也不需要外部语义知识来辅助预测。这一发现向领域内 “必须加入先验知识才能做好预测” 的隐含假设发起了直接挑战。

其次，统一架构带来了意外的好处：联合建模使姿态和轨迹预测相互增强。数据表明，将轨迹信息作为输入可提升姿态预测精度约 11-12%，反之亦然（见论文表 10）。这从实证角度验证了两者在物理上的不可分割性。

第三，简化带来了计算效率的实质性提升。在 MOCAP-UMPM 数据集上，SimpliHuMoN 的 “深” 配置（ $L=16, d_{model}=48$ ）训练吞吐量比专门设计的轻量模型 EMPMP 高出 14.3%，测试速度是其 1.8 倍（见论文表 2）。这意味着简单架构不仅更好，还更快。

实验结果分析

实验在六个公开数据集上覆盖了全部三项任务：Human3.6M 和 AMASS（姿态预测）、ETH-UCY 和 SDD（轨迹预测）、MOCAP-UMPM 和 3DPW（联合预测）。

在姿态预测上，SimpliHuMoN 的 ADE 与最佳方法持平，FDE 则超越所有对比方法（见论文表 1）。值得注意的是，该方法仅需单次确定性前向传播，而主流扩散模型需要迭代采样数十步，存在显著的效率差异。

在轨迹预测上，模型的 “宽” 配置在 ETH-UCY 数据集上取得了与最佳方法 TrajCLIP 相同的平均 ADE（0.18），且平均 FDE 持平于 0.32。考虑到 TrajCLIP 依赖预训练的视觉语言模型提供语义先验，而 SimpliHuMoN 完全从运动数据中自学习，这一结果更具说服力。

在联合预测任务上，SimpliHuMoN 的优势最为显著。在 MOCAP-UMPM 上，APE 从最佳基线 EMPMP 的 146.5 降至 125.7（降低 10.3%），JPE 从 250.4 降至 212.7（降低 15%）。按时间步分解的分析（见论文表 6）显示，预测时长越长，该方法相对基线的优势越明显，表明统一架构更擅长抑制远期误差积累。

在多模态多样性方面，模式利用率分析表明六种预测假设的使用频率大致均匀（见图 4），不存在模式坍塌问题。多模态误差指标（MMADE/MMFDE）也表明，确定性多假设方法的生成质量可媲美随机扩散模型（见论文表 9）。

实践建议

对于正在构建时序预测系统的工程师，SimpliHuMoN 提供了几点可直接迁移的启示。

架构选择上：在模型宽度（嵌入维度）和深度（层数）之间的权衡值得关注。本研究发现，“宽” 配置（ $d_{model}=192$ , $L=6$ ）更擅长捕捉局部细节（如姿态精度），“深” 配置（ $d_{model}=48$ , $L=16$ ）更适合建模长程全局依赖（如轨迹精度）。在实际部署中，若精度瓶颈在细节保真度，可优先增加宽度；若问题在于长期一致性，则增加深度更为经济——深层窄模型的计算开销通常更低。

训练策略上：“赢者通吃” 损失是使确定性模型产生多样化输出的关键技巧。相比 VAE 中的重参数化或扩散模型的多步采样，这一方法无需引入噪声注入或迭代过程，实现成本极低。

效率优化上：统一自注意力设计消除了编码器-解码器之间的数据传输开销，在实际推理中可显著提升吞吐量。若现有系统使用分离式架构，将其改为拼接式自注意力可能是性价比最高的优化方向。

局限性规避：该模型未包含人际交互模块，在密集人群或强交互场景（如体育竞技、双人舞蹈）中可能失效。针对此类场景，建议在自注意力层之后增加轻量级的交互编码模块，或引入图注意力层。论文在 WorldPose 足球数据集上的附加实验（见论文附录 G）显示，即使在没有交互模块的情况下，该模型仍优于专有的交互感知方法，但这一差距恰恰说明加入交互机制后还有可观的提升空间。