SkillFactory：通过自蒸馏学习认知行为

论文信息

标题: SkillFactory: Self-Distillation For Learning Cognitive Behaviors

作者: Zayne Sprague, Jack Lu, Manya Wadhwa, et al.

发布日期: 2025-12-03

arXiv ID: 2512.04072v1

PDF 链接: 下载 PDF

3 分钟速览

研究问题：这篇论文要解决如何让语言模型在没有 “基础模型已展现” 的认知技能时，依然能够在强化学习阶段习得并稳定运用这些技能（如答案验证、回溯、换用其它方法重试等）。
核心方法：提出 SkillFactory，在强化学习之前增加一个监督微调阶段，利用模型自身采样结果重新编排成具有技能格式的 “银标准” 训练数据，实现自我蒸馏，从而为 RL 提供带有认知先验的初始化。
关键结果：即使 SkillFactory SFT 初始化让模型在 RL 前性能更低，它依然能帮助模型在 RL 后对任务的更困难变体取得更好泛化，且模型确实使用了认知技能，同时在域外任务上比直接 RL 的基础模型更鲁棒（见论文实验结果小节）。
主要局限：银标准 SFT 轨迹本身可能不完美，技能格式的预定义可能无法覆盖所有认知模式，论文未证明该方法在所有任务类别或更大规模模型上的普适性。
适合读者：对推理模型训练、认知技能习得、自我蒸馏技术以及 “先验+强化学习” 结合范式感兴趣的 NLP 研究者与工程师。

论文背景和研究动机

当前，能生成长链思维 (long chains of thought) 的推理模型正成为大语言模型应用的核心。这类模型在解决问题时会展现丰富的认知技能，例如主动验证自身给出的答案、发现错误后回溯修正、改用不同方法重新求解等。已有研究表明，如果基础模型在预训练后已初步具备这些技能，再对其施加强化学习 (RL) 可以进一步激发并稳定地运用它们。然而，一个更根本的挑战仍悬而未决：当基础模型本身不具备某些技能时，如何让模型从零学到这些技能？ 直接只用 RL 往往难以凭空 “发现” 复杂的认知行为，或者收敛极不稳定。

SkillFactory 正是为此而生。作者观察到，即便一个模型还不会系统性地运用某项技能，其采样输出中仍可能零散地、无意识地包含相关片段。SkillFactory 的思路是：抽取模型自身的生成结果，按照预设的技能格式重新编排，形成一系列看似 “拥有该技能” 的轨迹。虽然这些轨迹质量参差（银标准），但它们可以作为监督微调的素材，让模型在 SFT 阶段粗略地学会 “该技能应该长什么样”。随后再接入 RL，模型就有更大机会把这种粗略技能内化为稳定、有效的认知策略。这一思想摆脱了对更强模型知识蒸馏的依赖，采用完全的自我蒸馏，从而让整套训练流水线无需外部智慧。

核心方法和技术细节

SkillFactory 将整个训练过程拆解为两个阶段：技能注入的 SFT 阶段 与 RL 阶段。

1. 技能格式定义与数据构造

首先需要为每一种目标认知技能定义一种 “轨迹格式”。例如，对于 “验证答案” 技能，轨迹里可以明确包含一段 Verification: 段落，在其中让模型对自己此前的推理结果进行检验。对于 “回溯” 技能，轨迹中可插入 Let me double-check... 开头的步骤，并在其中发现错误后返回之前的某个节点。格式定义是人工设计的，但不需要手动编写具体内容，内容来自模型自身。

构造流程如下：

从待训练的基础模型上进行多次采样，收集大量原始推理轨迹。
利用一个编排器 (re-arranger) 自动检测轨迹中是否含有可用于目标技能的片段（例如忽然出现自纠偏的句子），若有，则将这些片段按照技能格式重新 “包装”，形成一段看起来像模型在主动使用该技能的完整回答。
如果一条原始轨迹中没有合适片段，编排器可以尝试对轨迹进行局部修改，或者丢弃该样本。所有重组后的轨迹被称为银标准 SFT 数据。

这种做法的精妙之处在于，编排过程并没有引入外部知识，所有内容都来自模型自身的分布，只是将隐含的认知行为显式化、格式化。

2. SFT 技能初始化

用上述银标准数据对基础模型进行监督微调。此时模型并未指望真正掌握该技能的内涵，而是学习到一种 “表面模式”：当遇到类似问题时，输出中需要出现特定格式的段落。由于数据质量良莠不齐，这一阶段模型的纯生成性能甚至可能略有下降，因为强制加入了额外结构，打乱了原本的生成习惯。然而，正是这种带噪声的格式学习，使模型在隐空间中形成了一种对认知行为的归纳偏好——它开始倾向于在推理过程中插入自我检查标记。

3. RL 阶段的真实技能习得

SFT 后的模型接着进入 RL 训练，奖励函数通常基于最终答案的正确性及推理步数的效率等。RL 会在保持正确性的前提下优化模型行为。由于 SFT 已经 “告诉” 模型可以在哪里尝试使用技能，RL 就能在这些位置对技能进行强化或修正。即：

如果某段验证步骤碰巧提高了正确率，强化信号会鼓励类似行为；
如果格式导致无效冗余，RL 也可以学得压缩或调整。最终，模型从 “会摆出技能的样子” 进化为 “真正会用技能且用得好”。

论文中强调，SkillFactory 不是简单的课程学习：SFT 并不直接优化最终任务，而是植入一种结构化的行为先验。因此，即使 SFT 后的模型准确率更低，其 RL 后的上限可能更高。

创新点和贡献

无须强模型蒸馏的认知技能注入：与依赖更大、更强的教师模型来蒸馏技能轨迹不同，SkillFactory 完全基于模型自身样本，通过重新编排实现自我保护式学习。这降低了对外部数据或模型的依赖，让社区可以更自主地培育模型的推理能力。
SFT 作为技能先验而非任务性能提升：首次明确指出，SFT 的价值可以不体现为瞬时性能指标，而是为后续 RL 提供结构化先验。这颠覆了 “SFT 必须改善评价分数” 的传统认知，为 RL 前的准备工作提供了新视角。
“先格式，后内涵” 的训练机制：SkillFactory 提出技能学习的两个阶段：先掌握技能的形式（格式），再通过 RL 填充其内涵（有效使用）。这一分离对解释为什么某些 RL 训练容易失败（缺乏先验结构）提供了新理解，并给出了实战解决方案。
域外鲁棒性的提升：传统 RL 微调容易发生过拟合，模型在训练任务相关的但略有变化的分布（域外）上性能急剧下降。SkillFactory 表明，预设的认知结构相当于一种正则化，能有效抑制 RL 对训练分布捷径的过度利用，提高泛化能力。

实验结果分析

论文通过三组核心实验验证 SkillFactory 的有效性。

第一，泛化增益 vs 初始性能的权衡。在任务上，SkillFactory SFT 初始化后的模型在 RL 之前的准确率低于基线（因引入非最优格式干扰），但经过相同步数的 RL 训练后，其在该任务更难变体上的表现显著优于直接从基础模型 RL 的对照组（参见论文实验结果小节）。这证明技能先验确实带来了更稳健的推理路径，而非仅仅记忆。

第二，认知技能使用的真实性。作者通过探测、轨迹分析等手段确认，RL 后的 SkillFactory 模型确实在推理过程中执行了预期技能（如实际进行验证计算、回溯后重新推理），而不是仅仅输出格式空壳。例如，在需要验证的问题上，模型生成的验证片段确实改变最终答案的情景占比明显提升。

第三，域外鲁棒性检验。在未参与 RL 训练的域外任务上，SkillFactory 模型的性能衰退幅度更小，保持了更多推理能力。相比之下，直接从基础模型 RL 的模型出现了严重回归，说明无技能束缚的 RL 更容易学得脆弱的快捷策略。

值得注意的是，作者也指出银标准 SFT 数据中的噪声并未完全消除，但这似乎没有妨碍 RL 阶段的最终性能，反而可能通过某种隐式正则化起到了正面作用。论文谨慎地未宣称对所有复杂推理任务的普适性，但实验趋势一致且稳健。

实践建议

对于希望在自己的模型训练中应用 SkillFactory 思路的从业者，以下几点实操建议颇具价值：

1. 设计认知技能格式时，从任务特性出发 不必试图枚举所有思维技巧，而应挑选任务中常见的 “纠错模式”。例如，数学推理可加入 “代入验证” 步骤，代码生成可加入 “手工模拟运行” 步骤。格式应尽量自然，符合模型原有语言风格，避免生硬的特殊标记，让 SFT 阶段更容易衔接。

2. 样本编排的质量与多样性平衡 实践中可采取半自动编排流水线：先用规则或轻量分类器筛选出可能包含目标行为的原始轨迹片段，再利用一个小型语言模型对片段进行格式化。注意保持编排结果的多样性，不要把所有样本都变成单一模板，否则 SFT 可能导致技能僵化。

3. SFT 阶段不必过分追求低损失 SkillFactory 的经验暗示，SFT 的损失不必降到极低，甚至可以在模型开始过度拟合格式噪声时提前停止。监控任务性能并非必需，更应关注模型是否在输出中按照给定格式插入技能标记。过度 SFT 可能固化错误技能使用模式，后续 RL 难以修正。

4. RL 奖励设计保留对技能的宽容空间 RL 训练初期，模型使用技能可能会暂时降低奖励（如增加步数）。应在奖励中适当加入对使用技能行为的微弱鼓励，或至少不施加严厉惩罚，直到技能开始发挥作用。后续可逐渐把奖励重心转移到最终结果质量上。

5. 多轮迭代：SkillFactory + RL 的闭环 模型经过 RL 后，其技能使用质量会提升，此时可以再次采样并构造更高质量的银标准数据，进行新一轮 SkillFactory，从而形成 “技能格式编排→SFT 先验→RL 提升→更优采样” 的迭代循环。这一机制可使认知技能持续进化。