匹配特征，而非词元：基于能量的语言模型微调

论文信息

标题: Matching Features, Not Tokens: Energy-Based Fine-Tuning of Language Models

作者: Samy Jelassi, Mujin Kwun, Rosie Zhao, et al.

发布日期: 2026-03-12

arXiv ID: 2603.12248v1

PDF 链接: 下载 PDF

3 分钟速览

• 研究问题：这篇论文要解决什么 标准交叉熵（CE）训练只优化教师强制下的逐令牌预测，忽略模型自回归生成时的序列级行为，导致生成质量在长文本上退化。论文提出直接优化序列级特征统计量，以校准模型的自回归分布。

• 核心方法：用什么办法解决 引入特征匹配损失，要求生成补全的特征嵌入与真实补全的特征嵌入的一阶矩一致；通过能量基础微调（EBFT）用 REINFORCE 梯度估计在部分展开序列上优化该损失。

• 关键结果：最重要的一个结论或数字 在问答编码任务上，EBFT 在 HumanEval 的贪婪准确率上达到 0.548，明显高于监督微调的 0.483，同时验证集交叉熵降至 0.207，而监督微调为 0.289（表 1）。

• 主要局限：作者自己承认的、或方法本身固有的限制 EBFT 基于展开序列训练，每次更新比标准监督微调慢，目前仅适用于微调阶段；论文仅在 7B 参数以下模型和较短的展开长度上进行验证（见论文第 6 节）。

• 适合读者：什么背景的人值得读 适合对语言模型微调、强化学习与校准方法感兴趣的研究者，以及需要在无任务专属验证器场景下提升生成质量和分布校准的工程师。

论文背景和研究动机

当前大语言模型的标准训练范式——教师强制下的交叉熵训练，为每个位置提供密集的监督信号，并能在大规模并行优化下稳定工作。但这种机制引入了一个本质上的分布偏移：训练时模型以真实前缀为条件预测下一令牌，而在部署时必须以自身生成的序列为条件。当生成过程早期出现错误时，后续令牌的分布会偏离训练分布，造成生成质量在长序列上持续下降。Braverman 等人（2019 年）通过测量第 k 个生成令牌的条件熵随 k 的变化，量化了这一偏移：即使模型在训练集上达到很低的困惑度，生成序列的熵仍会随长度增加，暴露出令牌级监督无法保证长序列上校准良好的根本缺陷。

强化学习微调通过对模型自身展开序列的序列级奖励进行优化，能够在行为层面提供直接控制，但其效果高度依赖可靠的任务专属奖励函数或验证器（如 RLVR 依赖单元测试或 BLEU 分数）。在众多开放性任务中，这样的信号要么不可得，要么与期望行为不一致。更重要的是，强化学习优化标量信号，并不直接针对生成分布的整体校准进行优化——论文中的实验反复证实了这一点：RLVR 在提升下游任务表现的同时，会显著恶化验证交叉熵和特征匹配损失。

受到这些观察的启发，论文提出了一个替代方案：直接优化特征匹配损失，将其从诊断工具转化为训练信号本身。这一损失要求模型展开序列的期望特征嵌入与真实数据分布的期望特征嵌入在向量空间中匹配，从而在不依赖任务专属验证器或偏好模型的前提下，提供密集的序列级语义反馈。

核心方法和技术细节

特征匹配损失

给定上下文 $c$ 和长度 $G$ 的补全 $y$，以及一个冻结的特征网络 $\phi: \mathcal{V}^* \rightarrow \mathbb{R}^d$（从预训练模型复制并冻结），特征匹配损失定义为：

$$\mathcal{L}_{\text{FM}}(\theta) = \mathbb{E}_{c \sim p} \left[ \left\| \mathbb{E}_{\hat{y} \sim p_\theta(\cdot|c)} [\phi_c(\hat{y})] - \mathbb{E}_{y \sim p(\cdot|c)} [\phi_c(y)] \right\|^2 \right]$$

其中 $\phi_c(y) = \phi(c:y)$ 是拼接序列的嵌入向量。该损失的最优值为零，此时模型被定义为在特征层面是校准的。若特征映射足够丰富（论文选取了不同深度的中间层激活并做 L2 归一化拼接），特征校准等价于分布完全匹配，使得该目标成为一个严格合适的评分规则。

为了可估计，论文利用偏差-方差分解得到条件特征匹配损失：

$$\mathcal{L}_{\text{CFM}}(\theta) = \mathbb{E}_{c \sim p} \left[ \left\| \mathbb{E}_{\hat{y} \sim p_\theta(\cdot|c)} [\phi_c(\hat{y})] - \phi_c(y) \right\|^2 \right]$$

它与完整损失只差一个与模型无关的常数项，因此它们的梯度完全相同，这就使得从真实 $(c, y)$ 对出发的无偏估计成为可能。

能量基础微调

对 $\mathcal{L}_{\text{CFM}}$ 运用 REINFORCE 技巧，可推导出无偏的随机梯度估计。给定上下文 $c$ 和目标补全 $y$，从生成器 $p_\theta$ 中采样 $n$ 条补全 $(\hat{y}_j)_{j=1}^n$，每条的奖励为：

$$r_j = 2\phi_c(\hat{y}_j)^\top \phi_c(y) - \frac{2}{n-1} \sum_{j' \neq j} \phi_c(\hat{y}_j)^\top \phi_c(\hat{y}_{j'})$$

该奖励包含对齐项（鼓励生成样本接近真实补全）和多样性项（惩罚生成样本之间的过度相似）。梯度估计结合 RLOO 基线以降低方差（附录 E 给出具体推导）。

实际训练中，EBFT 维护一个可训练的生成器和一个冻结的特征网络。为高效收集大量在策略样本，论文采用了跨步块并行解码方案：通过自定义注意力掩码，在一条长序列上从多个嵌套前缀同时生成补全，并将所有样本批量输入特征网络以提取嵌入向量，大幅摊销前缀计算开销。

当特征空间的某些方向协方差过大时，特征匹配损失会被少数方向主导。论文引入白化处理，用经验二阶矩矩阵的伪逆修正特征，并发现对对齐项同时做归一化能校正低秩估计带来的信号衰减，这一调整显著提升了实际效果。

理论视角：连接能量基模型与校准

在 KL 正则化下，特征匹配的闭式解为指数倾斜分布 $\rho^*(y|c) \propto q(y|c) \exp(-\chi_c^\top \phi_c(y))$，其中倾斜向量 $\chi_c$ 是在约束范数下最大化观测数据似然的方向（定理 D.3）。这正是能量基模型设定最大似然问题的形式，支撑了 “能量基础微调” 这一命名的合理性。

创新点和贡献

论文的主要创新在于以下几个方面：

1. 以特征匹配作为训练信号。 不同于仅将其作为评估指标，论文首次将条件特征匹配损失作为无验证器场景下的序列级训练目标，直接对自回归生成分布进行高阶统计量校准。

2. 无验证器的开放任务训练方案。 EBFT 不需要任何任务专属奖励函数或验证器，使得它可以在 RLVR 无法应用的非可验证场景下工作（如在原始代码补全上训练），这显然拓展了序列级微调的适用范围。

3. 同时优化下游表现与分布校准。 大量的实验证据表明，RLVR 尽管能提升任务准确率，但代价是语言建模能力的严重退化（验证交叉熵远高于基模型）。EBFT 则避开这一权衡，在多个任务上同时实现更强的下游性能、更低的交叉熵和更低的特征匹配损失。

4. 高效采样方案与理论解释。 跨步块并行生成方案成功降低了在策略展开的计算开销；KL 正则化下的能量基模型连接为进一步的理论分析提供了视角。

实验结果分析

实验覆盖了三个领域的任务：问答编码（使用 OpenCodeInstruct）、非结构化编码（使用 SwallowCode 中的原始 Python 代码）和翻译（使用 ALMA 人类平行语料）。所有实验均使用 Qwen2.5-1.5B（编码）或 Llama-3.2-1B（翻译）作为骨干模型。

下游性能。 在问答编码上，EBFT 的 HumanEval 贪婪准确率为 0.548，远优于监督微调的 0.483，与 RLVR（0.535）处于同一水平甚至更好；pass@16 上 EBFT 达到 0.771，同样领先于 RLVR（0.752）（表 1）。在 RLVR 无法应用的非结构化代码任务上，EBFT 的 pass@1（0.524）和 pass@16（0.769）均明显超过监督微调（0.467、0.747）。翻译任务上，EBFT 的 COMET 贪婪得分在 WMT22 上为 0.725，MTNT 上为 0.737，均优于 RLVR 和监督微调。

分布校准与交叉熵。 一种反直觉的结果是 EBFT 在验证集交叉熵上优于以优化交叉熵为唯一目标的监督微调：问答编码任务上 EBFT 的 CE 为 0.207，监督微调为 0.289；翻译任务上分别为 1.670 和 1.782（表 1）。这与论文中有关白化特征匹配近似于 $\chi^2$ 散度、从而局部近似 KL 散度的理论分析一致（见论文第 2.3 节和附录 B）。相反，RLVR 的验证交叉熵全程升高，在问答编码上高达 0.774（基模型 0.338），显示出不可忽视的语言能力退化。在条件特征匹配损失上，EBFT 达到 0.258，优于监督微调（0.315）和 RLVR（0.442），且这一优势在所有补全长度上持续存在（图 2）。

模型规模与特征网络的影响。 消融实验显示，白化和从最后层而非平均池化提取特征是 EBFT 性能的关键，随机构建的特征网络权重带来的性能下降较小，而使用更大的 Qwen2.5-7B 作为特征网络并不会带来明显增益（图 7）。此外，EBFT 的收益在 1.5B、3B 和 7B 三个模型规模下保持一致性，没有出现收益递减的趋势（图 8）。

实践建议

对于希望将 EBFT 用于实际微调管线的工程团队，以下建议基于论文实验提供参考：

1. 在监督微调阶段后插入 EBFT 作为校准步骤。 EBFT 的单步更新比标准监督微调慢，因为需要采样多条补全并经过特征网络的前向计算，因此更适合作为微调阶段的最后一层，而不是直接替代大规模预训练或中段预训练。论文中的一项变体显示，用一阶段监督微调预热后再使用 EBFT，与直接从基础模型开始使用 EBFT 的效果相似（表 6），这为管线设计提供了灵活性。

2. 特征网络的选择：复用，而非扩大。 使用同一检查点的冻结副本作为特征网络即可取得良好效果。论文的消融实验表明，将特征网络从 1.5B 扩展到 7B 并未产生显著收益，而随机初始化的网络只带来适度的性能下降。这意味着实践中不需要额外准备更大的特征模型，可以直接利用现有资源。

3. 混合损失中的 CE 权重可灵活调整。 在不同 $\gamma$（CE 损失系数）下，EBFT 的下游性能和特征匹配损失保持接近，但更大的 $\gamma$ 会加速交叉熵下降（图 6）。在希望尽快恢复语言建模流畅度的场景下，可以选择较大的 $\gamma$（如 0.1），否则纯特征匹配（$\gamma=0$）同样能够超越监督微调的交叉熵。

4. 白化处理与奖励变体。 白化对稳定性有明显影响（图 7），当特征维数远大于采样数时尤为重要。论文使用的奖励设计（白化对齐项除以范数、多样性项不再归一化）是在这一设置下表现最好的变体。在需要更强保真度的任务中，可以考虑引入对齐偏置参数 $\alpha$ 来降低多样性项的影响，但要注意这可能会引入交叉熵的不稳定性（附录 C 与 H.1 有详细讨论）。

5. 适用场景判断。 EBFT 在无验证器的非可验证场景下相比 RLVR 有自然优势，在可验证场景下也能在保留语言能力的同时达到相同甚至更好的下游性能。如果应用需求明确倾向于既有任务准确率又需要自然的文本流畅性（如文本生成、翻译），EBFT 是比 RLVR 更合适的选择；若仅追求极端奖励最大化并对语言退化有容忍度，则可保留 RLVR。