FurE：无需动物毛发数据集的高效实例特定三维毛发重建

FurE: Efficient Instance-Specific 3D Fur Reconstruction without Animal-Fur Datasets

arXiv: 2609.35770v1

论文信息

标题: FurE: Efficient Instance-Specific 3D Fur Reconstruction without Animal-Fur Datasets

作者: Srinjay Sarkar, Prakhar Kaushik, Soumava Paul, et al.

发布日期: 2026-09-28

arXiv ID: 2609.35770v1

PDF 链接: 下载 PDF

3 分钟速览

  • 研究问题：如何从校准的多视角图像高效重建可编辑的动物毛发，在缺少动物毛发数据集、毛发自遮挡严重的情况下，恢复显式发丝几何以及底层皮肤/发根表面。
  • 核心方法：先用 Gaussian Frosting 厚度线索和部件先验估计 “去毛” 身体网格；再用基于人发 PCA 基的低维编码器-解码器，在发根表面预测紧凑发丝系数，并通过柱状 3D 高斯可微渲染优化。
  • 关键结果：在 Artemis 数据集上，发丝训练约 52 分钟，比当前方法 NeuralFur 的约 10.5 小时快约 10 倍，渲染质量相当或略优（表 1、表 4）。
  • 主要局限：只表示单层发丝、单根表面，未建模多层毛被；根表面在发丝优化前估计，不能联合优化；需要校准多视角和静态动物，真实活体动态难以捕获。
  • 适合读者：做神经渲染、3D 重建、数字角色/动物毛发建模，以及需要显式可编辑几何资产的研究者或工程师。

论文背景和研究动机

在高质量数字资产中，基于发丝的表示是标准，因为显式线状几何可直接编辑、渲染和模拟。动物毛发重建比人类头发更困难：单根毛发被周围毛发严重遮挡，外观与视角相关，毛几乎覆盖身体，因此多视角重建得到的是毛外轮廓而非皮肤表面；动物毛的长度、密度、方向和粗细在物种间、甚至同一动物不同身体部位都有很大差异。另一个根本困难是缺少动物毛发训练数据集。人类头发已有 PERM 等参数化表示，但动物毛发数据稀缺。

现有方法中，NeuralFur 是较接近的工作，它结合 NeuS 几何、SMAL 部件定位和 VLM 导出的毛属性进行去毛和发丝重建。但它依赖模板拟合、部件级语义估计，且密集逐发丝优化耗时很长。FurE 的目标是在保留显式发丝的前提下，显著降低单场景训练成本，并减少对 SMAL 拟合的依赖。

核心方法和技术细节

FurE 分两个阶段。

第一阶段是 “去毛” 与毛初始化。先用 NeuS2 重建可见毛外表面 MouterM_{\mathrm{outer}}。然后用 Gaussian Frosting 在同一组图像上训练，得到附着在表面附近的自适应高斯层；其层宽提供局部毛厚度的线索，但不是皮肤深度或发丝长度的直接测量。论文通过 ALIGN-Parts 等 3D 部件分割方法为网格顶点分配部件标签，不依赖 SMAL 拟合。随后论文构造带约束的顶点位移优化：

min⁡d∑ici(di−ti)2+η∑i(di−bi)2+λ∑(i,j)∈Eaij(di−dj)2\min_{\mathbf{d}} \sum_i c_i(d_i - t_i)^2 + \eta \sum_i (d_i - b_i)^2 + \lambda \sum_{(i,j)\in\mathcal{E}} a_{ij}(d_i - d_j)^2

其中 cic_i 表示局部支持程度，tit_i 是支持的局部厚度，bib_i 是部件级参考，aija_{ij} 控制跨部件边界的平滑弱化；约束限制位移范围，并在眼睛、鼻尖、爪垫等非毛区域固定 di=0d_i=0。得到去毛网格 MrootM_{\mathrm{root}} 后，发丝长度单独初始化：V1 使用部件 75 百分位的壳宽度乘以固定部件乘数；V2 可选地将该估计与 VLM 或外部参考长度混合。

第二阶段是发丝学习。在 MrootM_{\mathrm{root}} 上采样发丝根点 ri\mathbf{r}_i。对每个根点，编码器 EθE_\theta 根据位置编码、部件标签、归一化霜层厚度和部件长度预测低维潜码 zi\mathbf{z}_i。解码器 DψD_\psi 将潜码映射到局部规范化发丝，再通过根点的 TBN 正交局部坐标系旋转、缩放并平移到世界空间。解码器的基础来自 PERM 的人类头发 PCA 基，并在目标动物图像上微调；编码器则从零开始优化。这个设计避免了逐点优化整条高维折线，而只优化每个根点的低维系数。

渲染方面，FurE 把每条解码发丝表示为沿线段贴合的各向异性 3D 高斯，长度对应线段长度、方向对应局部切线。优化损失包括 RGB、轮廓、图像空间方向、外层包络吸引、SDF 防穿透和毛掩码损失。论文使用与 NeuralFur 相同的超参数，训练 2500 次迭代，每次迭代使用 15K 根发丝，并微调 PCA 解码器。

创新点和贡献

论文有四个明确贡献。

第一，将人类头发先验迁移到动物毛发。FurE 用 PERM 的 PCA 基代替动物毛发专用数据集，把稠密逐发丝优化转换为根条件低维潜码学习。作者认为这缓解了动物毛发数据稀缺问题，同时保留显式、可编辑发丝。

第二，提出基于壳的 “去毛”。FurE 将去毛视为局部壳估计问题：外表面是可见毛，内表面是去毛后皮肤。它利用 Gaussian Frosting 未对齐自适应高斯层产生的壳宽度作为局部证据，再用部件级先验校准，避免 SMAL 拟合。论文指出，壳宽度是相对几何证据，不是发丝长度的直接测量（附录 A.1）。

第三，显著降低训练时间。在相同 36 视图和 A5000 GPU 上，发丝训练从 NeuralFur 的 10.5 小时降至约 52 分钟，预处理从 10 小时降至约 1 小时（表 1）。论文将其描述为约 10×10\times 加速。

第四，首次从噪声真实世界多视角图像中重建实例特定的动物发丝（野牛序列），并称 NeuralFur 在该序列上失败。论文还发布相关数据。

实验结果分析

在合成老虎资产上，论文用艺术家生成的真值发丝计算精确率、召回率和 F 分数。在 2/20、3/30、4/40 三组阈值下，FurE 的 F 分数分别为 24.30、39.80、50.86，优于 GaussianHairCut 和 NeuralFur 的对应分数（表 2）。该结果仅针对这个合成场景，不能扩展到所有动物种类。

在四个 Artemis 场景（熊猫、狐狸、猫、白虎）上，论文使用无监督几何一致性指标，测量发丝长度均值 μL\mu_L 和标准差 σL\sigma_L、局部/全局曲率方差、局部方向方差等。论文报告 FurE 在多数指标上低于 Gaussian Haircut、NeuralFur 和 Neural Haircut 等基线，说明在该实验设置下发丝长度更稳定、方向和曲率变化更一致（表 3）。其中有些基线变体（如固定长度、ShapePrior）只在部分列展示，完整比较需看论文表格。

渲染质量方面，在四个场景上，FurE 的 PSNR/LPIPS/SSIM 与 NeuralFur 非常接近且略优，例如 Panda 场景 PSNR 为 43.91、LPIPS 0.3258、SSIM 0.6144，NeuralFur 为 43.91、0.3266、0.6135（表 4）。这支持 “训练时间约 1/10 但渲染质量不下降” 的结论，但限于所测场景。

消融实验显示：对所有身体部件使用统一发丝长度会导致身体和腹部区域重建不准确；去掉去毛网格后视觉上相似，但方向与曲率一致性变差（图 8）。去毛对比显示 FurE 的去毛网格与 NeuralFur 的结果相似，但计算更快（图 5）。应用上，重建发丝导入 Blender 后，在模拟强风下表现出物理合理运动（图 9、图 12）。

实践建议

对希望复现或使用该系统的团队，以下几点有直接参考价值。

第一，如果业务场景缺少目标物种的毛发数据，可以优先考虑迁移人类头发参数化基。FurE 的经验是在 PERM 的 PCA 基上微调编码器和解码器，能绕过动物毛数据集缺口；但需要针对目标动物重新优化，不是零样本生成。

第二，去毛问题不要只看壳厚度。Gaussian Frosting 的壳宽度只是相对线索，必须用部件级参考和带约束的平滑优化校准；非毛区域需要固定为零位移。实践上，需要提前获得较可靠的 3D 部件分割，否则要用人工校验。

第三，运行时间优化来自低维潜码，而不是减少渲染分辨率或降低显式发丝数量。若产品管线要求可编辑发丝，采用根条件潜码 + PCA 解码器比直接优化每条折线更实际。论文在 A5000 GPU 上训练约 52 分钟，可作为资源预算参考（表 1）。

第四，当前方法仍要求静态动物和校准多视角输入。对动态活体动物，作者指出需要未来扩展；在实际项目中，若只能获得动态或较少视角数据，FurE 现在不能直接保证效果。对真实世界数据，还要关注初始几何和霜层质量，严重自遮挡会退化壳厚度和长度估计（附录 A.4）。

整体上，FurE 对动物数字资产制作、虚拟拍摄和游戏/仿真中的毛发重建是一条更经济的路线，但它仍假设单层发丝和预先估计的根表面，尚未解决多层被毛和端到端联合优化问题。