SLORR：简单高效的训练中低秩正则化

论文信息

标题: SLORR: Simple and Efficient In-Training Low-Rank Regularization

作者: David González-Martínez, Shiwei Liu

发布日期: 2026-07-09

arXiv ID: 2607.08754v1

PDF 链接: 下载 PDF

3 分钟速览

研究问题：如何在不显著增加训练开销的前提下，让神经网络在训练过程中自动变得低秩，从而更容易被分解压缩。
核心方法：提出 SLORR 框架，利用 GPU 友好的 Polar Express 迭代近似极因子，从而避免昂贵的 SVD 计算，直接对原始权重矩阵施加低秩正则化。
关键结果：在 ImageNet 和 LLM 预训练中，SLORR 将训练开销控制在 1%–8% 以内，且压缩后的模型性能显著优于未经正则化的基线（见论文第 4.1、4.2 节）。
主要局限：Hoyer 变体在过大正则化强度下可能引发训练不稳定；方法对某些微调场景效果有限；理论保证依赖于权重谱的假设条件。
适合读者：从事模型压缩、高效深度学习训练的工程师和研究员，尤其关注量化交易、量化推理等对延迟敏感场景的从业者。

论文背景和研究动机

现代神经网络通常拥有大量参数，低秩分解是一种通过将权重矩阵替换为两个较小因子之积来减少计算和内存开销的有效方法。然而，不经特殊训练的模型往往不具备良好的低秩性质，激进的分解会显著降低精度。现有的一些训练时低秩正则化方法要么需要每步计算昂贵的 SVD，要么修改模型架构（引入额外参数并改变优化动态），要么依赖状态缓存和定期 SVD 更新（带来额外超参数和扩展性挑战）。SLORR 正是为了填补这一空白：它直接作用于原始权重矩阵，无需架构变更或缓存状态，且不要求预定义目标秩，同时保持 GPU 的高效性。

核心方法和技术细节

SLORR 框架的核心思想是：用极因子 $\boldsymbol{U}\boldsymbol{V}^\top$ 的迭代近似来替代直接 SVD，从而高效计算低秩正则项及其梯度。论文研究了两种变体：

SLORR‑Hoyer：基于 squared Hoyer 稀疏度指标 $\frac{\|\boldsymbol{\sigma}\|_1^2}{\|\boldsymbol{\sigma}\|_2^2} = \frac{\|\boldsymbol{W}\|_*^2}{\|\boldsymbol{W}\|_F^2}$ ，该指标具有尺度不变性，倾向于将谱能量集中在少数主导奇异值上。
SLORR‑Nuc：直接使用核范数 $\|\boldsymbol{W}\|_*$ ，等同于对奇异值施加 $\ell_1$ 惩罚。

正则化的梯度公式中均出现 $\boldsymbol{U}\boldsymbol{V}^\top$ 项（见论文公式 1）。直接计算需要 SVD，论文采用 Polar Express 算法近似该极因子。Polar Express 通过迭代归一化矩阵的矩阵符号函数来收敛到极因子，每次迭代仅涉及矩阵乘法，在 GPU 上极其高效。同时，核范数估计通过 $\operatorname{tr}(\boldsymbol{W}^\top \boldsymbol{U}\boldsymbol{V}^\top)$ 近似得到，对近似极因子做内积即可，无需单独计算奇异值。

整个计算过程封装为 PyTorch 自定义函数，在前向和反向传播中使用同一个近似极因子，不通过迭代步骤进行反向传播。这种简化使得实现几乎无额外显存占用，且不会改变模型原始架构。论文也给出近似误差的理论上界（命题 3.1）：随着 Polar Express 迭代步数 $T$ 增加，核范数估计和 SLORR‑Hoyer 梯度都可以任意逼近真实值。

在优化上，论文支持两种集成方式：直接将正则化项加入损失，或采用类似于 AdamW 的解耦形式，在更新权重后施加基于预更新权重的正则化梯度（算法 1）。这为不同优化器提供了灵活性。

此外，论文对 SLORR‑Hoyer 的谱动力学进行了分析（命题 3.2、3.3）：在足够小的步长下，SLORR‑Hoyer 会放大 “大” 奇异值（大于 $\frac{\|\boldsymbol{W}\|_F^2}{\|\boldsymbol{W}\|_*}$ 的奇异值），缩小 “小” 奇异值，从而自然地加速谱衰减，提高可压缩性。

创新点和贡献

无 SVD、无状态的极因子近似框架：首次利用 Polar Express 迭代实现训练时低秩正则化，避免了昂贵 SVD 和状态缓存，简化了实现并提升了可扩展性。
保持架构一致性：直接在原始权重矩阵上操作，不引入额外训练参数或改变前向传播，对现有模型影响极小。
理论保证：给出极因子近似误差与正则项值及梯度误差的显式关系（命题 3.1），并分析 SLORR‑Hoyer 的谱收缩性质。
广泛的实验验证：在 ImageNet 分类的持续训练、从头预训练，以及 135M 和 560M 参数 LLM 预训练上均证明了方法的有效性，且训练开销极低（通常 <1%–8%，见第 4.1.1、4.2 节）。

实验结果分析

在 ImageNet 分类任务上，论文比较了 SLORR 与 Q3R、LoRITa 等方法。无论均匀压缩还是基于能量的压缩，SLORR（特别是 Hoyer 变体）在多种参数保留率下均处在帕累托前沿附近，且训练时间开销普遍低于 Q3R（尤其是在大模型上，如 ViT‑L/16 时 Q3R 刷新间隔为 5 的开销高达 3 倍），内存开销亦为最低（见表 2）。对于 ResNet‑50 和 ViT‑B/16，SLORR 在 8% 以内的训练额外时间下，显著提升了压缩后模型的准确率。

在 LLM 预训练中，SLORR‑Hoyer 应用于 Llama 类模型。使用简单 SVD 压缩和激活感知的 SVD‑LLM 压缩后，SLORR 训练模型的困惑度和下游任务精度均优于无正则化基线，尤其是在较大压缩率下（图 3）。例如，在保留 80% 参数时，正则化模型的困惑度明显更低；即使未压缩时稍有性能损失，压缩收益也远超过代价。训练开销在 135M 和 560M 模型上平均低于 1%，显示了极佳的可扩展性。

实践建议

对于希望将低秩分解应用于生产环境（如量化交易的推理加速边缘设备部署）的实践者，以下建议值得关注：

优先尝试 SLORR‑Hoyer：从论文的视觉和语言实验来看，Hoyer 变体在多数设置下压缩效果更好。其尺度不变性有助于在训练前期集中谱能量，而无需精细调整学习率与范数变化的关系。
从较小的正则化强度开始调优：过强的正则化可能导致训练不稳定或未压缩精度下降过多。论文中使用的典型强度范围在 5e‑5 到 0.002 之间，可根据模型大小和任务适当搜索。
利用解耦模式提升优化稳定性：在 Adam/AdamW 训练中，解耦形式（SLORR‑Hoyer‑D）可避免正则化梯度影响动量或二阶矩估计，对于 LLM 预训练尤其有用（论文在 560M 模型上即用此方式）。
适当增加 Polar Express 迭代次数：论文推荐 6 步，实验表明继续增加迭代步数收益递减。在资源极度受限时可降为 4 步，但建议进行局部实验确认对近似质量的影响。
结合激活感知分解：在 LLM 场景中，使用 SVD‑LLM 等白化方法可进一步放大 SLORR 训练的压缩优势。图 3 显示，在 SVD‑LLM 压缩下正则化模型的保持率更高。
注意长周期训练的硬化效应：论文中的额外训练实验（附录 J）表明，训练更长的模型（如 4 倍或 8 倍计算预算）会变得更难压缩，但正则化依然保持相对优势。对于需要长期训练的模型，可考虑在训练中后期逐步降低正则化强度或引入谱截断来平衡。