分布偏移如何影响神经偏微分方程代理模型的预训练收益？

论文信息

标题: How Does Distribution Shift Shape Pretraining Gains in Neural PDE Surrogates?

作者: Pochinapeddi Sai Bhargav, Nithin Somasekharan, Rohit Sunil Kanchi, et al.

发布日期: 2026-09-17

arXiv ID: 2609.20814v1

PDF 链接: 下载 PDF

3 分钟速览

研究问题：预训练神经 PDE 代理在不同成分的分布偏移（几何变化、建模物理变化）下，到底能带来多少样本效率收益？这些收益如何随目标数据预算和采样方式变化？

核心方法：在 UniFoil 数据集上，用一个翼型家族（FT）的 254,909 个 RANS 解预训练卷积 U-Net，再微调到另一个翼型家族（NLF），并对比相同 SA 模型与 SA+ $e^N$ 转捩模型的两种目标设置，用样本效率增益（sample-efficiency gain）衡量预训练收益。

关键结果：在目标数据量 $N=1000$ 时，几何偏移目标获得约 3.3 倍样本效率增益，几何+转捩建模偏移目标约为 2.6 倍（图 1）；但到 $N=5000$ 时顺序反转，转捩目标增益比几何目标更高（1.86 倍对 1.56 倍，表 14）。

主要局限：实验仅覆盖单一翼型几何、单一预训练架构（卷积 U-Net）和两种目标设置；结果是在该数据集和实验设置下的有限结论，不能直接推广到所有 PDE 代理或几何类型。作者未跨架构验证排序是否稳定。

适合读者：从事科学机器学习、CFD 代理建模、PDE 基础模型预训练与迁移学习的研究者，以及需要决定是否复用预训练模型应对新几何或新物理的工程实践者。

论文背景和研究动机

神经 PDE 代理可以大幅加速 CFD 等物理场预测，但每个新几何、运行区间或建模物理变化都需要重新生成昂贵的数值解来训练。PDE 基础模型希望把这种反复成本转化为一次性投资：在大规模 PDE 语料上预训练，再在小样本新任务上微调。已有工作如 Poseidon、DPOT 和 Multiple Physics Pretraining 等在不同 PDE 系统上展示了预训练收益，但评估往往只改变单一系统参数（如 Reynolds 数），掩盖了真实分布偏移中多种成分的组合效应。

本文针对这一缺口，利用 UniFoil 数据集（Kanchi et al., 2025）系统考察两个成分的偏移：几何分布变化（从 FT 翼型到 NLF 翼型）和建模物理变化（添加 $e^N$ 转捩模型）。关键在于，作者通过匹配自由流参数范围，排除了 Ma $_∞$ 、 $\alpha$ 、 $Re$ 等 PDE 参数外推的影响，使观察到的差异只能归结为几何和物理建模两个成分。

核心方法和技术细节

论文使用三个 UniFoil 子集：预训练语料 $\mathcal{D}_{\mathrm{FT}}$ 包含 254,909 个训练样本（FT 翼型，SA 湍流模型）；两个微调目标分别为 $\mathcal{D}_{\text{NLF-Turb}}$ （NLF 翼型，SA 模型，36,412 个训练样本）和 $\mathcal{D}_{\text{NLF-Trans}}$ （NLF 翼型，SA+ $e^N$ 转捩模型，34,585 个训练样本）。所有子集的自由流参数范围一致：马赫数 $Ma_\infty \in [0.10,0.85]$ ，攻角 $\alpha \in [-2^\circ,6^\circ]$ ，雷诺数 $Re \in [10^6,10^7]$ 。

代理模型输入为离散化几何坐标和三个自由流标量，输出为四个流场 $(u,v,Ma,C_p)$ ，升力系数 $C_\ell$ 和力矩系数 $C_m$ 通过表面压力积分得到。评估采用几何不相交划分：每个翼型的所有样本要么全在训练集、要么全在验证/测试集，确保测的是对未见几何的泛化能力。

在架构选择上，作者在预训练任务上比较了 U-Net、Transolver、ViT、FNO 和 CViT 五种候选网络，全部控制在约 2200 万参数。卷积 U-Net 在所有输出量上误差最低，且训练成本约 29 GPU-h，不到 Transolver 的 1/25（表 3、表 5）。因此后续所有迁移实验都固定使用 U-Net-S。

样本效率增益的度量方式为：对每个微调预算 $N$ ，同时训练一个从随机初始化开始的对照网络，读取两者误差-预算曲线在水平方向上的距离，即预训练使达到相同精度所需的样本数缩减倍数。所有实验使用三个独立数据抽样（data draws）重复训练，并报告范围。

创新点和贡献

本文的主要贡献可归纳为三点：

提出受控的偏移成分分解：相比于只改变单个标量参数或同时改变多个因素的现有评估，本文通过两个精心设计的目标设置，将几何偏移与几何+物理建模偏移分开，且保持自由流参数范围完全一致。这种设计使得差异只能来自几何和转捩模型两个成分。
揭示预算与建模物理偏移的交互：在 $N=1000$ 时，相同 SA 模型的几何偏移目标增益更大（约 3.3 倍对 2.6 倍）；但在 $N=5000$ 时，顺序反转，转捩模型目标增益反而更大（1.86 倍对 1.56 倍，表 14）。这表明建模物理不匹配并不施加固定的 “预训练惩罚”，其影响依赖于可用目标数据量。
发现目标数据分配与偏移组成的交互：在 $N=1000$ 下，广度采样（更多不同翼型、每个翼型少条件）在两个目标上都比深度采样（少量翼型、多条件）得到更低误差。但广度采样只对几何偏移目标显著提高样本效率增益（从 3.3 倍到 4.0 倍，范围不重叠），对转捩目标仅从 2.6 倍到 2.7 倍且范围重叠（表 2）。作者推测，当缺少转捩建模源信息时，仅靠增加几何多样性无法充分放大预训练收益。

实验结果分析

实验围绕三个问题展开。

Q1：预训练节省多少样本？ 在 $N=1000$ 时，几何偏移目标上预训练模型达到的升力误差，从头训练需要约 3250 个样本才能匹配，增益约 3.3 倍；转捩目标约为 2.6 倍（图 1）。三个数据抽取的增益范围分别是 3.16–3.38 和 2.35–2.81，所有九对交叉比较均为正。通过 bootstrap 同时重采样数据抽取和测试翼型，两目标增益差为 $+0.68\times$ ，95% 区间为 $[0.03, 1.25]$ （附录 I）。当预算增大到 $N=5000$ 时，几何偏移增益降至 1.56 倍，转捩目标降至 1.86 倍，顺序反转。到 $N=10{,}000$ 时，两者分别约 1.37 倍和 1.70 倍（表 14）。在完整数据上，几何偏移目标从头训练与预训练的升力误差差仅为 0.0004，而转捩目标仍保留 0.0013 的差距，说明预训练对更难目标的优势在更大预算下更持久。

Q2：预训练表示提供什么？ 冻结所有预训练权重，只添加并行卷积适配器（约增加 5% 参数），在深度分配 $N=1000$ 的几何偏移目标上达到升力误差 0.0412，恢复全微调改善的 83%；而相同的适配器在随机初始化骨干上为 0.1117，甚至差于从头训练的 0.0537（附录 F）。这说明收益主要来自预训练特征的重组，而不是适配器自身的容量。

Q3：预算如何分配？ 在 $N=1000$ 下，广度采样覆盖 851 个不同翼型，深度采样覆盖 777 个翼型（但需要 $N=10{,}000$ 才达到类似数量，附录 B）。广度在几何偏移目标上将增益从 3.3 倍提升到 4.0 倍（三次抽取范围 3.58–4.36），而转捩目标只从 2.6 倍到 2.7 倍（范围 2.28–3.37），变化在抽样波动范围内。

值得注意的是，论文还检查了零样本表现：预训练模型在未见几何上的升力误差分别是 0.4951（NLF-Turb）和 0.3300（NLF-Trans），归一化后约为目标平均升力幅度的 0.88 和 0.94，说明偏移真实且显著，不是简单的未见过形状问题（附录 E）。

实践建议

对于需要在气动或更广泛 PDE 代理场景中利用预训练模型的工程师和研究者，本文提供了几条可操作的依据：

先做小规模受控比较再决定是否预训练。 不要假设预训练收益恒定或随预算单调变化。在目标数据极少（如 $N=1000$ ）时，预训练收益通常较大，但收益会随预算增加而衰减，且不同偏移成分的衰减速度不同。建议在早期阶段用少量样本绘制样本效率曲线，比较预训练与从头训练在同一数据上的差距。

目标数据分配要匹配偏移构成。 如果源和目标任务只在几何分布上不同，广度采样（覆盖更多不同几何）可能显著放大预训练收益；如果还存在物理建模变化（如添加转捩模型），单纯增加几何多样性不一定能获得同等的增益提升。此时需要结合特征适配器或更充分的微调，并优先覆盖转捩敏感的运行条件。

轻量适配器是降低部署成本的有效路径。 在本文实验中，冻结预训练骨干并添加 5% 参数的并行卷积适配器，就能恢复大部分预训练收益（83%）。对于需要为多个目标快速定制模型的场景，这种策略可以大幅减少训练时间和计算资源，同时保持接近全微调的精度。

评估必须按几何不相交划分。 如果采用 i.i.d. 样本划分，模型会在测试几何的其他工况上见过该形状，导致评估只反映内插而低估真实泛化难度。实践中应确保测试翼型完全不出现在训练集，并按翼型为单位划分。

需要强调的是，以上建议均基于 UniFoil 数据和卷积 U-Net 架构下的实验结果；作者没有在不同架构或更广泛 PDE 系统上验证结论的普适性。但在单一实验框架内，这些结论为 “预训练应被视为源–目标兼容性问题，而非通用数据效率保证” 提供了清晰的量化证据。