通过目标分布设计实现监督微调的统一视角

论文信息

标题: A Unifying Lens on Supervised Fine-Tuning Through Target Distribution Design

作者: Tong Xie, Yuanhao Ban, Yunqi Hong, et al.

发布日期: 2026-06-09

arXiv ID: 2606.11189v1

PDF 链接: 下载 PDF

背景与研究动机

监督微调（Supervised Fine-Tuning, SFT）是当前大语言模型（LLMs）后训练的核心环节，它通过模仿专家行为让预训练模型快速适应下游任务。经典 SFT 采用逐 token 的负对数似然损失，等价于在每个位置驱动模型去匹配一个 one-hot 目标分布 $\delta_{y_t}$——将全部概率质量分配给数据集中的观测 token，其余 token 获得零概率。这种方式隐含地假设数据中的每一个 token 都是唯一正确、最优的选择。然而现实数据远非如此：同一提示词可能对应多条合理推理路径、多种措辞或中间步骤的选择；同时，预训练模型自身已经编码了丰富的语言与知识先验。强制模型严格拟合 one-hot 目标会放大噪声、加剧过拟合、干扰预训练先验，并损害泛化能力。近年来的许多工作试图通过重加权、正则化或数据筛选来松弛这种刚性监督，但这些变体常被当作孤立的算法技巧提出，缺乏统一的解释框架，也难以指引更好的 SFT 目标设计。

论文《A Unifying Lens on Supervised Fine-Tuning Through Target Distribution Design》的核心洞察在于：SFT 的本质不是损失函数的选择，而是目标分布的设计。损失仅仅是优化的代理，而目标分布直接规定了模型应当如何分配词表中的概率质量。从这一视角出发，作者提出了 $Q$-target 框架，将 SFT 监督信号显式分解为两个决策：（1）在多大程度上信任观测 token，（2）剩余的概率质量如何分配给其他可行 token。该框架不仅能统一大量已有变体，还催生了一种更高效的实践方法——Target-SFT，并在十项推理任务中取得了显著且一致的提升。

核心方法：$Q$-Target 框架与 Target-SFT

$Q$-target 框架的核心是一个潜变量模型。对每个前缀 $x_t$ 下的观测 token $y_t$，引入二元隐变量 $Z_t$：$Z_t=1$ 表示应严格信任该 token，$Z_t=0$ 表示应松弛到一组可信替代分布 $\tilde{\pi}_t$。通过对信任概率 $r_t=P(Z_t=1\mid x_t)$ 的贝塔先验进行边缘化，得到的期望目标分布为：

$$Q_t = \gamma_t \delta_{y_t} + (1-\gamma_t)\tilde{\pi}_t,$$

其中 $\gamma_t = \mathbb{E}[r_t] \in [0,1]$ 表示期望信任度，$\tilde{\pi}_t$ 是替代分布。该形式将每 token 的监督自然拆分为两项：以 $\gamma_t$ 为权重的 标签模仿（standard log-loss）和以 $1-\gamma_t$ 为权重的 残差分布匹配（与 $\tilde{\pi}_t$ 的交叉熵）。这一分解揭示了所有 SFT 变体的两个设计轴：信任系数 $\gamma_t$ 和 残差方案 $\tilde{\pi}_t$。

基于此，作者指出许多现有方法仅隐式地操作了其中一个维度。例如，概率加权 SFT（$p$-loss 或 DFT）使用当前模型对 $y_t$ 的预测概率 $p_y$ 作为损失缩放因子，通过梯度分析可证明其等效于选取 $\gamma_t = p_y$ 并将残差分配给当前模型分布（stop-gradient 版本），即 $\tilde{\pi}_t = \text{sg}[\pi_\theta]$。这相当于在有不确定性时降低模仿强度，但残差分支只提供 “自我匹配” 而无额外监督。相反，分布层面正则化方法（标签平滑、KL 约束、知识蒸馏等）则主要指定了 $\tilde{\pi}_t$，比如用参考模型、均匀分布或教师模型作为残差的来源，而它们的 $\gamma_t$ 通常是固定超参数。$Q$-target 框架将这些表面各异的损失统一为对 $\gamma_t$ 和 $\tilde{\pi}_t$ 的隐式选择，超越了损失函数的形式差异。

在统一视角之上，论文提出了 Target-SFT，一种显式利用两分支设计的 SFT 方法。具体地：

• 信任估计 $\gamma_t$ 的概率代理：利用模型给观测 token 的概率 $p_y = \pi_\theta(y_t|x_t)$ 作为信任的代理，即设 $\gamma_t = p_y$。当 $p_y$ 较高时接近标准 SFT；当 $p_y$ 很低时减轻对该 token 的强制拟合。这继承了概率加权的思路，但将其置于一个完整的目标分布框架中。

• 教师引导的残差分布 $\tilde{\pi}_t$：为了不只在低置信度时简单退回到模型自身，而是引入外部纠正信号，Target-SFT 构造了一个教师引导的替代分布。通过对数概率奖励的 KL 正则化收益最大化，得到 $\tilde{\pi}_t^{\text{guided}}(a) \propto \pi_\theta(a|x_t)^{1-\eta} \pi_T(a|x_t)^{\eta}$，其中 $\eta\in[0,1]$ 控制教师信号的强度，$\pi_T$ 是对应指令微调教师模型的分布。该形式在模型先验和教师知识之间插值，使残差分支能够有针对性地 “营救” 那些学生不自信但教师高度认可的 token。

最终，Target-SFT 的 token 级目标为：

$$\mathcal{L}_t^{\text{Target}} = p_y \cdot \text{CE}(\delta_{y_t}, \pi_\theta) + (1-p_y) \cdot \text{CE}(\tilde{\pi}_t^{\text{guided}}, \pi_\theta).$$

这种设计在 token 值得信赖时进行强力模仿，而在不确定性较高时转而依赖教师引导的残差监督，从而在数据集模仿、先验保持和外部知识注入之间实现了自适应平衡。

创新点与贡献

1. 概念范式转变：首次将 SFT 从 “损失函数设计” 提升为 “目标分布设计”，通过 $Q$-target 显式地揭示了每次训练更新背后所真正匹配的概率分布，为理解和改进 SFT 提供了更根本的视角。

2. 统一框架：将十余种重要的 SFT 变体（重加权类、分布正则化类、数据筛选类）纳入同一个二维设计空间（$\gamma_t$ 与 $\tilde{\pi}_t$），清晰展示了它们内在的联系与差异，结束了以往方法频繁但碎片化的改进局面。

3. 新方法 Target-SFT：将概率代理信任估计与教师引导的残差分配相结合，既响应了 token 的不确定性，又在需要时供应有意义的替代监督，从而在数学和医学推理的 10 个基准上全面优于现有方法。

4. 可解释的技术推导：通过 “从任意可微损失到诱导目标 $Q$” 的分析，将 SFT 损失直接翻译为显式目标分布，增强了方法的透明性和可调试性。

实验结果与分析

实验覆盖了 3 个训练集（NuminaMath、OpenR1、m23k 医学推理）和 7 个不同规模的基座模型（Qwen2.5、Qwen3、LLaMA3 等）。对比基线包括标准 SFT、概率加权 SFT（$p$-loss）以及固定混合比例的知识蒸馏。主要发现如下：

• 稳健领先：在所有 10 个数据-模型配对中，Target-SFT 的 Average@16 准确率均为最高。在数学推理上尤其明显，例如 Qwen2.5-Math-1.5B 在 NuminaMath 上从基线的 14.92 提升至 38.05，远超标准 SFT（16.72）和 $p$-loss（32.94）。在医学问答中，Target-SFT 同样普遍最优，甚至在标准 SFT 较强而 $p$-loss 失效的情况下（如 LLaMA-3.1-8B）仍能保持优势。

• 概率加权与教师信号的互补：$p$-loss 在许多情况下已经不错，但单独使用教师蒸馏（固定 $\tilde{\pi}_t = \pi_T$）表现并不稳定，尤其对数学推理难度较大且当 $c$ 调节不当时性能骤降。Target-SFT 将教师信息作为自适应残差，恰好弥补了纯概率加权在低置信度时缺乏纠正信号的缺陷。

• 消融揭示设计关键：调节教师强度 $\eta$ 的实验表明，所有 $\eta$ 取值均优于蒸馏基线，且对 $\eta$ 不敏感。将残差分支的权重从自适应 $1-\gamma_t$ 改为固定常数 $c$ 会显著降低性能，这证明了根据 token 不确定性自适应分配残差质量的重要性。进一步分析教师与学生概率的条件分布，显示教师能够有效识别学生低信度的知识缺口（高 $p_T$、低 $p_\theta$ 区域），这正是 Target-SFT 发挥营救作用的区域。

实践应用建议

从该方法中，我们可以提炼出面向量化交易、量子计算等具有复杂序列决策特点领域的实践建议（虽然论文本身聚焦 NLP，但其原理具有广泛适用性）：

• 序列决策的监督设计：在金融时间序列预测或交易策略生成中，直接拟合历史动作序列同样面临多模态问题（多种合理交易决策）。可将训练目标重构为 $Q$-target 形式，采用历史成功率或模型对抗概率作为 $\gamma_t$，并利用一个更稳健的离线教师策略（如基于风险调整收益的模型）提供残差信号。

• 不确定性建模与先验保持：当使用预训练语言模型处理领域特定的结构化任务（如代码/交易指令生成）时，不应强制全部模仿有限的高质量演示。可利用目标分布设计，在标记可信度低时放松拟合，或引导模型回归自我分布或教师分布，以避免过拟合到演示的表面风格。

• 损失函数选择的新视角：在开发新任务时，建议分析梯度所隐含的等效目标分布，而非仅凭直觉设计损失函数。这有助于理解训练动力，并识别损失是否无意中传递了错误的概率质量分配。

未来发展方向与总结

$Q$-target 框架开辟了一系列值得探索的方向：

• 自适应信任度量的深化：当前 $\gamma_t$ 仅依赖模型自身的概率，未来可融合 token 的语义特征、序列级反馈信号或 Bayes 风险工具，以更精确地识别噪声和关键 token。

• 多来源残差组合：目前仅用单一教师，但实际上可以融合多个专家分布、检索增强信号或推理时验证器的评分作为奖励，构造更丰富的 $\tilde{\pi}_t$。

• 与强化学习的衔接：该框架天然地兼容 KL 正则化和奖励塑造，可以无缝集成到 RLHF 或 GRPO 等对齐流程中，作为 SFT 阶段的初始化或滚动优化的一部分。

• 理论分析：对于 $Q$-target 训练的动态，尤其是在非凸损失下的收敛性质和泛化界，还需要更系统的理论理解。

总之，这篇论文通过将 SFT 重新定位为目标分布设计问题，给出了一个简洁而强大的框架，不仅统一了现有方法的碎片化改进，还直接指导了更高效训练目标的构建。Target-SFT 的成功表明，有意识地回答 “多少信任观测 token” 和 “余下概率放哪儿” 这两个核心问题，就能在保持预训练知识的同时注入高质量的监督信号。该思想有望推动大模型后训练形成更加结构化、可解释、且性能卓越的新范式。