PEFT-Arena：从稳定性-可塑性视角理解参数高效微调

论文信息

标题: PEFT-Arena: Understanding Parameter-Efficient Finetuning from a Stability-Plasticity Perspective

作者: Yangyi Huang, Ruotian Peng, Zeju Qiu, et al.

发布日期: 2026-05-27

PDF 链接: 下载 PDF

引言：从单一指标到稳定-可塑性权衡

参数高效微调 (PEFT) 已成为大语言模型 (LLM) 后训练的标准范式，它通过仅更新极小部分参数，大幅降低了部署和计算成本。然而，现有的 PEFT 评价几乎完全聚焦在下游任务性能上，却忽视了预训练通用能力是否被保留。这种“只看学会了多少，不问忘掉了多少”的评估方式可能产生严重误导。一个数学推理大幅提升、但指令遵循和事实回忆同时崩溃的模型，实际上是一次失败的适配。因此，PEFT 的真正效能应当从 稳定-可塑性困境 来审视：既要获得新任务能力（可塑性），又要抵抗对原有知识遗忘（稳定性）。

论文 PEFT-Arena 正是基于这一核心理念构建了一个多维评价基准，并深入剖析了不同 PEFT 方法在权重空间和激活空间中的几何特征，以及这些特征如何与能力遗忘相关联。它不仅是评价工具，更是一次对微调本质的深度追问：在不同参数化下，模型到底如何改变自己？

核心方法：双轴评价与内部几何诊断

双轴评价框架

PEFT-Arena 选择了两个典型推理领域——数学和医学——作为下游任务来度量可塑性，同时设计了由指令遵循 (IFEval)、自然问题 (NQ) 和大规模推理 (BBH) 构成的通用能力评测轴来度量稳定性。实验涵盖有监督微调 (SFT) 和基于可验证奖励的强化学习 (RLVR/GRPO) 两种后训练场景，基础模型包括 Qwen2.5-7B 和 Llama3.2-3B-Instruct。所有方法在相近可训练参数量下比较，避免参数规模带来的不公平性。

这种双轴设计打破了传统“越强越好”的线性思维：一个方法可能在下游任务上大幅领先，但遗忘严重，从而落入稳定性-可塑性的 Pareto 前沿的次级位置。论文通过大量实验证实，单纯报告目标任务精度会系统性高估后训练质量。

权重空间几何：在哪里改，怎么改

要理解不同 PEFT 方法的稳定性差异，不能仅看最终分数。PEFT-Arena 首先从权重空间入手，将微调后的权重矩阵 $W^*$ 分解到预训练权重的奇异向量基上：

保留轮廓：计算 $|\Delta P_{\mathrm{diag}}(i)| = |u_i^\top(W^*-W_0)v_i|$ ，衡量对预训练奇异结构的扰动。较大的不规则扰动可能损害支撑通用能力的主成分。
更新轮廓：计算 $E_\Delta(i) = \lVert \Delta W v_i\rVert_2$ ，描述更新能量在哪些奇异方向上注入。这能暴露高能注入是否集中在少数方向，或呈现“尖峰”分布。

研究还定义了能力条件漂移 (CSD)： $\mathrm{CSD}_D = \mathbb{E}_{x\sim D}[\lVert\Delta W h_0(x)\rVert_2^2 / \lVert W_0 h_0(x)\rVert_2^2]$ ，它将更新能量与特定数据集激活的输入方向关联。结果发现，通用数据上的 CSD 与遗忘显著正相关，而目标数据上的 CSD 却不能简单预测目标增益，暗示推理任务的收益并非源于纯粹的能量注入。

激活空间几何：动了多少，还是坏了结构？

权重空间的分析无法直接说明功能损伤。因此，论文进一步对比基模型和微调模型在相同通用评测样本上的中间激活，使用三种度量：

Procrustes 残差：消除最佳正交旋转后，标准化残差衡量非等距畸变。
线性 CKA：衡量表示相似性。
成对 Gram 畸变：比较样本间余弦相似结构，对整体正交旋转不敏感。

实验表明，Procrustes 残差与遗忘的皮尔逊相关系数高达 0.711，CKA 则为 -0.761。这说明导致遗忘的关键不是激活值的绝对移动，而是表示空间中样本相对几何结构的破坏。正交微调 (OFT) 在这些指标上显著优于 LoRA 和全量微调，而 PiSSA 则表现出最严重的畸变，与其极端遗忘一致。

关键发现：谁站在最优前沿？

在所有方法中，正交微调 (OFT) 在相近参数量下提供了最有利的稳定-可塑性前沿。例如在 Qwen2.5-7B 数学 SFT 中，OFT-b32（17.55M 参数）将数学目标精度提升 11.63 个百分点，通用能力仅下降 2.60 个百分点；而 LoRA-r8（20.19M）提升 7.17 个百分点，却遗忘 7.75 个百分点。SVD 引导的 PiSSA 虽然目标增益高达 9.23 个百分点，但遗忘高达 22.19 个百分点，形成明显的异常值。抗遗忘变体 KeepLoRA 虽然能部分保留通用能力，但在目标任务上表现较弱，未能主导前沿。这表明单纯限制更新子空间并不能保证最佳的整体权衡。

在 RLVR 设置下，所有方法的遗忘幅度都大幅减小，甚至出现通用能力的正面提升，说明基于自身策略的优化能更好地锚定模型功能。但长时间 GRPO 训练也会在高采样预算下 (pass@64) 出现性能退化，再次呼应了路径上的过度适应问题。

插值作为路径诊断：SFT 过冲与事后修正

PEFT-Arena 提出一个新颖的视角：最终保存的检查点不一定是最优的稳定-塑性操作点。通过从基模型到微调模型的权重插值，可以扫描出一条路径。实验发现，SFT 检查点普遍存在“过冲”现象：继续沿路径回退（减小更新强度）往往能在保住大部分目标收益的同时恢复大量通用能力。

尤其重要的是，插值必须尊重每种方法的参数化几何。对于加性方法（如 LoRA），自然路径是缩放 $\Delta W$ ；而对于 OFT，自然路径是缩放其反对称生成元 $Q$ ： $R(\alpha) = \mathrm{Cayley}(\sqrt{\alpha}Q)$ 。论文证明，离开原本的 Cayley 流形进行普通权重插值会导致次优前沿。更进一步，观察到不同层的 OFT 更新强度极不平衡，对 OFT 执行逐层倒带（根据浅层强度等比缩放深层生成元）能实现无需训练的折中提高。这一发现为高效的事后稳定性控制提供了新思路。

实践建议与未来方向

对量化交易与智能体开发的启示

虽然本文直接面向 LLM 适配，但其思想完全可以迁移到金融时间序列预测或交易策略微调中。当使用 LoRA 或 OFT 来适配市场环境时，失去对历史模式的记忆可能导致灾难性决策。实践者应当：

采用双指标监控：下游预测精度 + 回测通用性能（如跨市场数据集的泛化）。
优先考虑 OFT 或其变体，其在保留原有表示几何上具有优势，能减少过拟合特定市场状态的风险。
利用插值路径策略：在微调后扫描不同放弃系数，寻找最优的“适应-保留”平衡点，而不是直接使用最终 checkpoint。
分层监控更新强度，避免深层权重的剧烈旋转造成表示畸变。

对人工智能研发者的建议

在模型微调时，将稳定性评估嵌入常规测试流程，不应仅观察下游指标。
对于需要持续学习的场景，OFT 的 Cayley 生成元缩放路径提供了一种无需重训练的能力恢复手段。
使用 Procrustes 残差等指标作为模型健康检查的一部分，可以有效诊断因微调引起的功能损伤。

未来的研究可以扩展基准至更多语言、对话安全和多模态领域，并为 prompt/prefix 等非权重式 PEFT 设计对应的几何诊断工具。此外，发展一种能根据层和奇异方向自动配比更新强度的可学习机制，将稳定-塑性权衡内化为训练过程的一部分，极具潜力。

总结

PEFT-Arena 将参数高效微调的评价从“唯精度论”提升到了系统性的稳定-塑性分析高度，并首次深入揭示了不同参数化在权重谱与表示几何层面的作用机制。OFT 凭借其谱结构保留特性和低非等距畸变成为首选方法，而插值驱动的路径视角为事后优化与理解微调动力学开辟了新途径。这项工作不仅提供了评测工具，更为构建稳健、可控的大模型后训练流程提供了深厚的几何直觉与实用指南。