基于自适应小波的物理信息神经网络求解局部高强度源问题

An adaptive wavelet-based PINN for problems with localized high-magnitude source

arXiv: 2604.28180v1

论文信息

标题: An adaptive wavelet-based PINN for problems with localized high-magnitude source

作者: Himanshu Pandey, Ratikanta Behera

发布日期: 2026-04-30

arXiv ID: 2604.28180v1

PDF 链接: 下载 PDF

3 分钟速览

  • 研究问题：传统物理信息神经网络在处理具有局部高强度源项的偏微分方程时，会遭遇极端的损失函数不平衡（初始损失比可达 1010:110^{10}:1），导致训练失败。
  • 核心方法：提出自适应小波物理信息神经网络，通过预训练阶段筛选物理相关的小波族，并在自适应阶段动态调整小波的尺度和位移参数，仅在需要高分辨率的区域进行细化。
  • 关键结果：在热传导、泊松方程、振荡流方程和麦克斯韦方程四个典型问题上，AW-PINN 的精度一致性地优于现有方法，例如在热传导问题中，当 ϵ=0.1\epsilon=0.1 时，仅有 AW-PINN 能给出合理结果（相对 L2L_2 误差为 8.86×10−68.86\times 10^{-6}，见表 4.1）。
  • 主要局限：基于相似度的小波基选择部分依赖手动调参和预训练质量（见论文第 5 节），且论文未在不同类型的小波基函数上进行系统对比。
  • 适合读者：从事科学计算、计算物理、电磁仿真、流体力学数值模拟，并希望利用深度学习解决具有极端多尺度特征偏微分方程的研究者和工程师。

论文背景和研究动机

物理信息神经网络自 2019 年提出以来，已成为求解正问题和逆问题中偏微分方程的有力工具。其核心优势在于无网格特性、处理高维问题的潜力，以及在复杂几何上的灵活性。然而，PINN 的训练过程存在两大根本性障碍：频谱偏差和损失不平衡。

频谱偏差指神经网络倾向于优先学习解的低频分量，导致对高频细节捕获不足。Jacot 等人提出的神经正切核理论揭示了这一现象的本质：在无限宽网络极限下，训练等价于以 NTK 为核的回归，而 NTK 的特征值随目标函数频率升高而急剧衰减，使得高频分量的误差收敛极为缓慢。

损失不平衡则表现为 PDE 残差损失、边界损失和初始条件损失之间的量级差异悬殊。当方程中存在局部化且量级极大的源项时，优化器会专注于最小化占主导的损失项，忽略其他同样重要的物理约束。现有解决方案如 MMPINN 通过对各项损失施加指数正则化来拉平量级，但指数参数的选择高度依赖问题且需要先验知识；SA-PINN 引入可训练的自适应权重，但增加了超参数调优的复杂度。

W-PINN 另辟蹊径，将解在小波空间中表示，借助小波基的多尺度特性自然消解损失不平衡。然而，这一方法需要在整个域上预计算并存储高分辨率小波矩阵，当问题涉及极端尺度特征时，内存开销呈指数增长，且优化空间变得高度非凸。

正是在这一背景下，本文作者提出 AW-PINN，旨在继承 W-PINN 优势的同时，通过自适应机制提升内存效率和优化稳定性。

核心方法和技术细节

AW-PINN 的工作流程分为两个阶段，其架构如图 3.1 所示。以下逐步解析其核心机制。

第一阶段：预训练与小波族筛选

首先，使用 W-PINN 的固定基函数框架进行短时预训练。W-PINN 的解形式为：

u^ψ(x;θ)=∑i=1Nfamci(θ)Ψi(x)+B\hat{u}^{\psi}(\boldsymbol{x};\boldsymbol{\theta}) = \sum_{i=1}^{N_{\mathrm{fam}}} c_i(\boldsymbol{\theta}) \Psi_i(\boldsymbol{x}) + \mathcal{B}

其中 Ψi(x)\Psi_i(\boldsymbol{x}) 是预先在域上定义的、覆盖多尺度和多平移位置的小波基函数，cic_i 为对应的可训练系数。预训练通过优化式 (2) 中的物理信息损失函数完成，且无需自动微分——导数通过对基函数 Ψi\Psi_i 的解析求导获得（式 (9)），显著加速了计算。

预训练结束后，执行最关键的操作——物理相关性筛选。对于每个小波族 ii，计算其单独贡献的残差向量 Ri\mathbf{R}_i 和边界响应向量 Bi\mathbf{B}_i，然后通过与 PDE 右端项 f\mathbf{f} 和边界条件 g\mathbf{g} 的内积计算相似度分数（式 (16)）：

ScoreiR=⟨Ri,f⟩∣⟨Ri,f⟩∣max⁡,ScoreiB=⟨Bi,g⟩∣⟨Bi,g⟩∣max⁡\text{Score}_i^R = \frac{\langle \mathbf{R}_i, \mathbf{f} \rangle}{|\langle \mathbf{R}_i, \mathbf{f} \rangle|_{\max}}, \quad \text{Score}_i^B = \frac{\langle \mathbf{B}_i, \mathbf{g} \rangle}{|\langle \mathbf{B}_i, \mathbf{g} \rangle|_{\max}}

高相似度的小波族被认为在物理上更相关。同时，系数绝对值 ∣ci∣|c_i| 最大的前 κ\kappa 个小波族也被收录。这种双重筛选机制之所以有效，是因为小波基之间的交叠很小，每个基函数对总解的贡献相对独立。

第二阶段：自适应网络构建与训练

筛选出的活跃小波族 IA\mathcal{I}_A 及其系数 cA\boldsymbol{c}_A 被用于初始化 AW-PINN 网络。对于每个活跃族 i∈IAi \in \mathcal{I}_A，构建一个自适应小波子模块：

Wi(x;θi)=∏n=1dψ(wi,nxn+bi,n)\mathcal{W}_i(\boldsymbol{x};\boldsymbol{\theta}_i) = \prod_{n=1}^{d} \psi(w_{i,n} x_n + b_{i,n})

初始参数直接继承自预训练阶段：wi,n(0)=2ji,nw_{i,n}^{(0)} = 2^{j_{i,n}}，bi,n(0)=−ki,nb_{i,n}^{(0)} = -k_{i,n}。这里的关键在于，wi,nw_{i,n} 和 bi,nb_{i,n} 不再是固定的离散值，而是可微分的连续参数。在后续使用 L-BFGS 优化器训练时，它们可以根据损失函数动态调整，相当于小波的尺度和位置在连续域上被精调。这等效于网络仅在需要的地方——通常是解变化剧烈的区域——自动拉升到更高分辨率，而无需在整域铺设密集网格。

AW-PINN 的最终解表达式为：

u^Aψ(x;θ)=∑i=1NAci(θ)Wi(x;θi)+B\hat{u}^{\mathrm{A}\psi}(\boldsymbol{x};\boldsymbol{\theta}) = \sum_{i=1}^{N_A} c_i(\boldsymbol{\theta}) \mathcal{W}_i(\boldsymbol{x};\boldsymbol{\theta}_i) + \mathcal{B}

训练继续沿用解析导数加速，损失函数仍为标准物理信息损失。论文通过定理 3.1 证明，在无穷宽自适应族极限下，AW-PINN 收敛到中心化高斯过程，并给出了其 NTK 结构的分解形式（式 (23)），这为理解其训练动力学提供了理论基础。

创新点和贡献

AW-PINN 的核心创新在于将固定基的谱方法提升为自适应方法。这种自适应并非对预定义密集网格的简单选择，而是通过可微参数化将离散尺度和位移转化为连续优化变量。这带来了两个直接且重要的贡献：

  1. 内存效率：无需为全域预计算和存储高分辨率小波矩阵。图 4.5 直观展示了这一点——在泊松问题中，AW-PINN 仅在解变化剧烈的窄带区域将尺度适应到更高值，其余区域保持粗尺度。
  2. 优化稳定性：减少不必要的高分辨率基函数，意味着参数空间更紧凑、优化曲面更良性。图 4.3 中 AW-PINN 收敛曲线的平滑性对比 MMPINN 的振荡，印证了这一优势。

此外，方法在理论上被纳入高斯过程和 NTK 框架，使 AW-PINN 有别于纯粹启发式的自适应策略，具有可分析性。

实验结果分析

论文选取了四个具有局部高强度源项的挑战性 PDE 进行评测，涵盖瞬态热传导、椭圆、双曲和电磁系统，初始损失比从 10910^9 到 101110^{11} 不等。所有实验均采用高斯小波作为母函数。

热传导问题（式 25）：当 ϵ\epsilon 从 0.12 减小到 0.10 时，源项在时间 t=0.5t=0.5 附近的瞬态特征愈发尖锐。由表 4.1 可见，仅 AW-PINN 在所有三个 ϵ\epsilon 值下均稳定收敛，且在 ϵ=0.1\epsilon=0.1 时相对 L2L_2 误差为 8.86×10−68.86 \times 10^{-6}，而 MMPINN 已完全发散。AW-PINN 的训练时间（约 25 分钟）不到 MMPINN 在 ϵ=0.11\epsilon=0.11 时所需时间（208 分钟）的八分之一。

泊松问题（式 26）：二维空间中的源项呈极高局部化特征。在 ϵ=0.02\epsilon=0.02 时，AW-PINN 的误差（2.68×10−42.68 \times 10^{-4}，表 4.2）比 MMPINN 低一个数量级，比 W-PINN 低两个数量级。图 4.4 的点误差图显示，即使源项仅在一个极窄的带状区域有值，AW-PINN 也能在整域上保持均匀的低误差。

振荡流方程（式 27）：带有快速振荡源项的一阶波动方程。AW-PINN 的误差为 5.17×10−45.17 \times 10^{-4}（表 4.3），图 4.6 中多个时间快照的剖面图进一步确认了其预测与解析解的高度吻合。

麦克斯韦方程（式 28）：三维问题（2D 空间+时间），包含点源发射的脉冲。所有方法的误差均比前几个问题偏高。AW-PINN 对 ExE_x、EyE_y 和 HzH_z 三个分量的相对 L2L_2 误差分别为 5.31×10−35.31 \times 10^{-3}、6.54×10−36.54 \times 10^{-3} 和 9.01×10−39.01 \times 10^{-3}（表 4.4），相比 MMPINN 和 W-PINN 有全局改进。值得注意的是，MMPINN 在该问题上的训练时间（182 分钟）是 AW-PINN（77 分钟）的两倍以上。

综合来看，AW-PINN 在精度和效率上相对于同类方法的优势具有一致性。其突出特点是：问题越极端（损失不平衡越严重），优势越明显。

实践建议

对于希望将 AW-PINN 应用于实际工程仿真（如焊接热分析、点电荷静电势计算、天线辐射模拟）的从业者，以下几点值得关注：

  1. 母小波选择：论文实验全部使用高斯小波（高斯函数一阶导数）。其平滑性和紧支撑特性是成功的关键因素之一。在实际部署中，建议从高斯小波开始，除非有明确的物理理由选择其他基函数。

  2. 预训练投入：预训练阶段（论文中仅需约 1000 次 Adam 迭代，约 2 分钟）是筛选有效小波族的基础。预训练不充分可能导致相关的小波基被误删。对于全新类型的问题，可先观察预训练后系数的分布谱，确认有明显的稀疏结构。

  3. 阈值调优：小波族选择依赖三个阈值（PDE 残差相似度、BC/IC 相似度、以及 top-κ\kappa 系数）。这些是方法中需要手动调整的部分。论文的附录 A 给出了各问题的阈值设定（表 A.3），可作为初始参考。当换用新问题时，建议执行数次试运行，观察筛选出的小波族在域上的覆盖模式，确认其是否集中在解的锐变区域。

  4. 硬件适配：AW-PINN 极大地降低了对 GPU 显存的依赖，因为它避免了高分辨率基函数的全域部署。这使其在消费级硬件上处理以往需专业计算集群才能解决的极端尺度问题成为可能。对于内存受限的边缘计算场景，这是一个实用的选择。

  5. NTK 辅助诊断：虽然论文未给出具体工具，但给出的 NTK 分解式 (23) 可用于训练初期的数值诊断。实践中，可在训练开始时计算一次 NTK 的特征值谱，如果对应高频小波参数的特征值过低，可能是该部分尚未被充分激活的信号，可适当延长预训练或调整阈值。