Particulate：前馈式 3D 物体关节化

Particulate: Feed-Forward 3D Object Articulation

arXiv: 2512.11798v1

论文信息

标题: Particulate: Feed-Forward 3D Object Articulation

作者: Ruining Li, Yuxin Yao, Chuanxia Zheng, et al.

发布日期: 2025-12-12

arXiv ID: 2512.11798v1

PDF 链接: 下载 PDF

3 分钟速览

  • 研究问题：这篇论文要解决如何从单个静态的 3D 网格自动推断物品的铰接结构，包括可动部件分割、运动学树和运动约束。
  • 核心方法：作者设计了一个称为 Part Articulation Transformer 的前馈网络，直接在点云上使用注意力机制，一次性预测所有关节属性，无需逐物体优化。
  • 关键结果：在作者新建的 Lightwheel 基准上，PARTICULATE 在有向部件 IoU 上达到 0.259，姿态完全展开时的整体倒角距离仅 0.008（见论文表 3）。
  • 主要局限：模型训练数据规模远小于其他视觉领域，无法可靠处理训练集中未出现过的极端铰接结构，且生成的资产可能出现部件穿透现象。
  • 适合读者：从事机器人抓取、交互式数字孪生、3D 内容生成与仿真研究的工程师和研究人员。

论文背景和研究动机

现实世界中的许多日用品，其功能不仅来自于静态形状，更来源于多个部件之间的受约束运动——门的旋转、抽屉的滑动等。人类可以轻松感知这些铰接关系，但对于机器来说，从单一静态网格中恢复这些信息仍然极具挑战。无论是让机器人操作铰接物体，还是为游戏、仿真构造可交互的数字孪生，都需要快速、准确地估计物体的运动结构。

过去的方法尝试过基于规则的流程化生成，或者利用多视角图像进行逐物体优化，但这些方案要么难以扩展到长尾物体，要么速度极慢且依赖密集采样的姿态数据。近年来，虽然出现了利用扩散模型或视觉‑语言模型进行关节建模的工作，它们大多只能在有限类别上运作，或需要预先知道运动学树结构，而且推理时间动辄数十分钟，难以实用化。

与此同时，3D 生成模型快速发展，已经可以生成高度逼真的静态网格，但如何为这些生成资产自动添加物理上合理的关节结构仍是一个开放问题。因此，作者提出的 PARTICULATE 选择了一个正交的路径：不从头合成物体，而是专门从已有网格中估计铰接结构，从而与现有的 3D 生成器形成互补，实现「一键生成可动 3D 资产」的流水线。

核心方法和技术细节

PARTICULATE 的目标是给定一个 3D 网格 M=(V,F)M = (V,F)，输出其铰接结构 A\mathcal{A}。该结构包含四个部分：部件数量 PP、面级别的部件分割 S:[∣F∣]→[P]S: [|F|] \to [P]、表示父子关系的运动学树 K⊆[P]×[P]K \subseteq [P]\times[P]，以及每个部件相对于父部件的刚体运动约束 M\mathcal{M}。运动约束又细分为运动类型（固定、棱柱、转动或二者皆有）、棱柱运动方向、转动轴（方向和位置）以及各自的范围。

整个系统以 Part Articulation Transformer 为核心。与直接优化单个网格的方法不同，这是一个完全前馈的模型，输入网格的点云即可一次性推理出所有属性。

点云表示与输入增强 作者选择在点云上操作，因为点云是一种显式、高度结构化且适用于几乎所有网格的表示。对于输入网格，采样 NN 个点 pip_i，同时提供每个点的法线 nin_i 和从 PartField 获得的语义特征 fif_i。PartField 是一个预训练的 3D 特征场，能够为点云注入全局形状上下文和部件先验知识。这些输入通过各自的 MLP 映射到工作维度 DD 后相加，形成每个点的初始隐向量 p~i\tilde{p}_i。

可学习部件查询与注意力块 由于物体的真实部件数量 PP 未知，模型初始化了 PmaxP_{\text{max}} 个可学习的部件查询向量 qjq_j，并设定 PmaxP_{\text{max}} 远大于典型网格的部件数。网络主干由 BB 个注意力块组成，每个块依次执行查询自注意力、查询到点云的交叉注意力以及点云到查询的交叉注意力。这种设计避免了在点之间做自注意力，显著降低了内存开销，使得测试时可以使用非常稠密的点云（如 102,400 个点）。最终，得到更新后的点隐向量和部件隐向量，分别送往不同的解码头。

多任务解码头 部件分割头通过 MLP 计算每个点属于每个部件查询的对数几率 S~i,j\tilde{S}_{i,j}。运动学树头输入一对部件查询，输出查询 ii 作为查询 jj 的父节点的对数似然 K~i,j\tilde{K}_{i,j}。运动参数部分则由四个独立 MLP 分别预测每个查询的运动类型、棱柱方向、棱柱范围和转动范围。

转动轴的过参数化 直接回归转动轴的 6D 表示容易导致轴线位置过拟合。论文提出了一种过参数化策略：对于每个属于部件 ii 的点 pjp_j，用 MLP 预测其到转动轴上最近点的位置 x~j\tilde{x}_j，同时用另一个 MLP 预测转动方向 d~rai\tilde{d}_{\text{ra}}^i。在推理时，通过聚合属于同一部件的所有点的预测位置的中位数，得到更精确的轴线位置，从而显著减少误差（见论文表 4 消融实验）。

训练与推理 训练时，使用匈牙利算法将 PmaxP_{\text{max}} 个查询匹配到真实部件，然后以多任务损失端到端优化，包括部件分割交叉熵、运动学树二元交叉熵以及各运动参数的 L1 损失或交叉熵。推理时，先得到逐点部件归属，再映射到面级别。对于运动学树，从预测的邻接矩阵中提取最大生成树形图，得到实际部件的父子关系。最后，利用点投票求得转动轴位置，完成完整的 A\mathcal{A}。

整个过程仅需约 10 秒，远快于需要逐物体优化的先前方法（例如 Articulate AnyMesh 约 15 分钟，ArtiLatent 约 30 秒）。

创新点和贡献

PARTICULATE 的主要创新可以归纳为三点：

  1. 统一的前馈式铰接结构估计框架：首次将部件分割、运动学树、运动类型与参数预测整合到一个端到端的 Transformer 模型中，且支持多关节物体。这使得从静态网格到完全可动模型（可直接导出 URDF 供物理仿真使用）成为一个单一前馈过程。

  2. 转动轴过参数化与点投票机制：通过让每个点都预测对应轴上的最近点，以中位数聚合代替直接回归，有效缓解了小数据集下低维轴表示易过拟合的问题。

  3. 自动化生成流水线的验证：论文明确展示了 PARTICULATE 可级联在现存 3D 生成器（如 Hunyuan3D）之后，从文字或图像出发，全自动生成带关节的 3D 资产，并取得合理的动部件与运动约束。

此外，作者还发布了一个新的 Lightwheel 基准，包含 220 个高质量铰接 3D 网格，覆盖 13 个类别，并重新设计了不匹配部件惩罚的评估指标，使指标更符合人类对分割质量的判断。

实验结果分析

论文在 PartNet-Mobility 测试集和新 Lightwheel 基准上，分别从部件分割和运动预测两个角度与现有方法对比。

部件分割方面，PARTICULATE 在带惩罚的 gIoU、PC 和 mIoU 上均大幅领先 PartField、P3SAM、SINGAPO 和 Articulate AnyMesh 等基线。例如在 Lightwheel 上，PARTICULATE 的 gIoU 达 0.286，而最强的对比方法仅为 0.144（Articulate AnyMesh，见表 2）。重要的一点是，论文证明了若不惩罚未匹配部件，Naive Baseline（将整物体视为一个固定部件）反而会在传统指标上胜出（表 5），揭示了旧指标的设计缺陷。

运动预测评估则将每个部件移动到其最大范围，比较展开状态下几何形状的差异。PARTICULATE 在 part‑wise gIoU、PC 和整体倒角距离 OC 上均明显最优，表明其运动参数估计更符合真实物理约束。即使对比 Articulate AnyMesh 被赋予了真实运动范围，PARTICULATE 的整体行为依然更优。

消融实验（表 4）显示，同时使用 PartNet-Mobility 和 GRScenes 数据集训练比仅用前者效果更好，证明数据多样性对泛化有益。去除转动轴过参数化后性能显著下降，验证了该设计的必要性。

但论文也指出了典型失败案例：当物体具有训练集中未见过的极端运动结构，或者 AI 生成的网格缺少内部零件时，PARTICULATE 容易出错，说明模型仍受训练数据规模和分布的限制。

实践建议

对于希望将 PARTICULATE 应用于机器人仿真或数字内容创建的研究者和工程师，以下几点值得关注：

  • 与 3D 生成器的集成：PARTICULATE 本身不生成几何，而是为已有网格添加关节信息。直接将其接在 Hunyuan3D 等模型之后，即可从单张图片或文字描述构建可动资产。但需注意，生成网格可能存在水密性差、内部残缺等问题，建议在进入 PARTICULATE 前对网格进行清理和法线修正。

  • 物理仿真准备：PARTICULATE 的输出可以直接转换为 URDF，导入 PyBullet、Isaac Sim 等物理引擎。然而论文提到生成资产可能出现部分穿透，这在实际仿真中会导致不稳定。可以考虑对预测的关节范围略作保守缩放，或是在 URDF 中启用碰撞检测以适配。

  • 模型推理配置：推理时点云密度可以提高到 102,400 点，这有助于覆盖细长或内藏部件。论文采用面向二面角采点策略，对棱边和曲面交界处给予了更多采样，对于机械类对象尤为有效，你可以在自己的数据中复现该采样方式。

  • 数据扩展与微调：如果你面对特定领域的铰接物体（如医疗设备、特种工具），可在公开数据集基础上收集少量标注样本，对 Part Articulation Transformer 进行微调。根据论文的消融，数据量扩大对泛化能力有直接帮助，因此补充高质量领域数据是提升性能的最直接途径。

  • 速度与资源：单次推理约 10 秒，在 1 块 GPU 下可流畅运行。这比任何依赖 VLM 或多轮优化的管线快一到两个数量级，适合需要批量处理资产的场景，例如游戏关卡中大量道具的自动化预制。