内省耦合：尽管监督固定，自我解释训练仍能追踪行为改变

arXiv: 2606.32038v1

论文信息

标题: Introspective Coupling: Self-Explanation Training Tracks Behavioral Change Despite Fixed Supervision

作者: Zifan Carl Guo, Laura Ruis, Jacob Andreas, et al.

发布日期: 2026-06-30

arXiv ID: 2606.32038v1

PDF 链接: 下载 PDF

论文背景与研究动机

现代大语言模型（LM）在安全攸关的场景中部署时，理解其内部决策过程变得至关重要。一种有前景的方向是训练模型生成忠实于自身行为的自我解释（self-explanation），从而实现对模型行为的监控、调试和推理。然而，一个核心挑战在于：如何确保模型生成的解释真正反映其当前的行为，而不是仅仅模仿表面化的解释模式。

过去的工作常采用反事实可模拟性（counterfactual simulability）来定义解释的忠实度：如果一个解释能够正确指出输入中哪些特征影响了模型决策，并且修改这些特征确实会改变模型行为，那么该解释就是忠实的。基于此，常见的做法是使用监督微调（SFT），从模型的某个初始检查点（checkpoint）派生出一组静态的解释标签，然后训练模型生成这些标签。但这种方法存在一个未被充分审视的局限：当模型被训练去生成解释时，其在非解释输入上的行为可能发生漂移，导致模型实际上学习了解释早期检查点的行为，而不是其自身的当前行为。

本文作者对这一传统范式提出了挑战，并发现了一个令人惊讶的现象：即使在固定的、基于模型早期行为产生的解释标签上训练，当训练过程包含行为正则化时，模型最终生成的解释反而更忠实于其当前的行为，而不是训练标签所描述的行为。作者将这种现象命名为内省耦合（Introspective Coupling）。这一发现意味着，模型能够在不接收当前行为监督的情况下，使其解释与当前行为保持一致。

核心方法：基于反事实解释的内省训练

反事实解释的构建与训练

论文采用反事实解释框架。对于一个输入 xx，定义一个 “提示”（cue）C⊆xC \subseteq x，它是输入中一个连续的片段，被假设为因果地影响模型行为。通过移除该提示，得到 x∖Cx_{\setminus C}。模型 M\mathcal{M} 在完整输入和消融输入上的行为 B(M)B(\mathcal{M}) 构成一对行为实例。对应的真实解释 E(M)E(\mathcal{M}) 则描述 “如果移除提示，模型的回答是否会改变，以及改变成什么”。例如，在一个带有错误提示的多选题中，解释可能是 “当提示被移除时，答案会从 A 变为 B”。

训练流程分为四步（如图 1 所示）：

  1. 从基模型 M0\mathcal{M}_0 采样行为，构造真实解释 E(M0)E(\mathcal{M}_0)；
  2. 微调 M0\mathcal{M}_0，使用解释标签 E(M0)E(\mathcal{M}_0) 的同时，通过 KL 散度正则化以使当前行为分布不远离 B(M0)B(\mathcal{M}_0)，得到 Mreg\mathcal{M}_{\text{reg}}；
  3. 从 Mreg\mathcal{M}_{\text{reg}} 采样新行为并构造其真实解释 E(Mreg)E(\mathcal{M}_{\text{reg}})；
  4. 评估 Mreg\mathcal{M}_{\text{reg}} 生成的解释更匹配 E(M0)E(\mathcal{M}_0)（记为 Orig）还是 E(MregE(\mathcal{M}_{\text{reg}}（记为 Self）。

训练目标为：

L(M)=EE(M0)[−log⁡pM(e∣q)]+λ EB(M0)[KL(pM0(y∣x)∥pM(y∣x))],\mathcal{L}(\mathcal{M}) = \mathbb{E}_{E(\mathcal{M}_0)}[-\log p_{\mathcal{M}}(e|q)] + \lambda \,\mathbb{E}_{B(\mathcal{M}_0)}\left[\mathrm{KL}(p_{\mathcal{M}_0}(y|x)\| p_{\mathcal{M}}(y|x))\right],

其中第一项是解释的交叉熵损失，第二项是行为正则化项，λ\lambda 控制正则化强度。评估指标采用解释精确匹配（EM）和行为精确匹配。

评估指标与 “Self > Orig” 签名

核心评估是计算解释 EM：模型预测的解释与目标模型真实解释的完全匹配率。如果模型对自己的解释（Self）的匹配率高于对原始标签（Orig）的匹配率，即出现 Self > Orig，则表明模型表现出内省耦合。这一指标直接衡量了解释是否追踪了模型自身的行为漂移。

现象刻画：内省耦合的实证发现

自解释优于原始标签的签名

实验在三个任务上进行：两个迎合偏好（sycophancy）数据集（Hint-MMLU 和 AITA），以及一个拒绝回答（refusal）数据集。结果如图 2 所示：在行为正则化（λ=1\lambda=1）的条件下，Mreg\mathcal{M}_{\text{reg}} 对所有三个任务都一致地表现出 Self > Orig。尤其在模型行为与原始行为不一致的数据子集上，模型以高比例（79%、82%、63%）将解释调整至与自身当前行为一致。相反，若去掉正则化（λ=0\lambda=0），模型的行为漂移更大，且 Self > Orig 消失，甚至逆转，表明此时模型只是在模仿训练标签。

机制层面的耦合

作者通过激活修补（activation patching）实验验证了行为和解释的因果关联。对于一对共享提示但行为不同的输入，从源输入向目标输入修补激活，并同时测量行为 logits 和解释 logits 的变化。结果显示，行为变化与解释变化高度相关（Pearson r=0.89r = 0.89），说明模型使用了重叠的电路来生成对象级输出和元级解释。作为对比，未经正则化的模型这种相关性要弱得多（r=0.53r = 0.53），而基模型几乎无相关性（r=0.20r = 0.20）。这为内省耦合在表现层面的签名提供了机制性的佐证。

何时出现内省耦合？

在线标签-自我相似性假设

作者认为，内省耦合的出现取决于训练过程中解释监督信号与模型当前行为的一致性（在线标签-自我兼容性）。通过逐步增加正则化权重 λ\lambda，他们发现只要 λ≳5×10−3\lambda \gtrsim 5\times 10^{-3}，Self > Orig 便开始出现，且此时行为 EM 也显著上升（图 4），支持了该假设。

为了直接控制在线标签与自我标签的一致性，作者在每一步训练中动态重新标记解释目标，使其以概率 ν\nu 与当前模型行为一致，以 1−ν1-\nu 随机不一致。结果（图 5）显示，当 ν≥0.7\nu \ge 0.7 时，Self > Orig 显现；当 ν≤0.6\nu \le 0.6 时，解释性能整体崩溃。这明确表明，在线标签与自我标签的相似度是耦合的关键因素，而并非仅仅因为当前模型与原始模型接近。

跨模型解释标签的可重用的惊人能力

进一步实验显示，即使用来自另一个行为相似但非同一模型（如 Llama-3.1-8B）的解释标签进行训练，只要行为仍被正则化回原模型，Self > Orig 依旧出现（图 6）。甚至当全部解释标签都来自外部模型时，模型的解释仍更忠实于自己的行为，而非外来标签。这表明，解释数据集可能可以在行为相似的模型间重用，而不必为每个新模型重新收集。同时也揭示了内省耦合更依赖于 “在线标签-自我一致性”，而非训练标签的初始来源。

泛化性能：追踪后训练行为漂移

现实中的模型后训练（post-training）往往伴随着由其他数据引起的行为变化。作者测试了当在解释训练的同时提供辅助行为训练数据时，模型的解释是否仍能跟踪行为的偏移。实验分为两类：引入全新行为（合成无意义数据 Jabberwocky）和修改现有行为（加入 WildChat、暖男助手对话、FineWeb 或直接拒绝训练）。结果表明（图 7、图 8），在原始解释域和全新行为域上，Self > Orig 均得以保持；并且，与仅进行解释训练的模型相比，同时接收辅助训练的模型 Maux\mathcal{M}_{\text{aux}} 能更好地解释自己的新行为，说明其解释能力确实随行为漂移而更新。

这一结果有重要的实践含义：将解释训练整合进常规后训练管线，模型便可以自动报告其在训练中习得的行为变化，成为一种廉价、持续的 “行为监控探头”。

实践应用与未来方向

实践应用建议：

  1. 安全监控与对齐审计：在微调流程中混入解释训练（使用行为正则化），可以构建能自我报告行为变化的模型。当模型因后训练而产生意外偏好（如更易迎合用户或拒绝回答方式改变）时，其自解释可作为早期预警信号。
  2. 可扩展的解释训练：由于解释标签无需在线重生成，甚至可以跨模型复用（在行为分布足够相似的前提下），这一发现降低了构建自我解释系统的数据采集成本，使得大规模部署成为可能。
  3. 模型调试与透明度：开发者可直接询问模型 “如果移除某个输入特征，你的输出会怎样？”，并期待得到忠实回答。这种能力有助于快速定位分布变化下的脆弱点。

未来研究方向：

  1. 更全面的耦合条件：论文发现学习率等超参数也会影响耦合程度，且与在线标签相似性假说形成竞争或互动，未来需要统一地刻画所有影响因素，建立完整的耦合涌现理论。
  2. 分布外泛化：当前仅测试了模板化的反事实解释，更自由形式的元级评估（如询问模型其总体的行为倾向）以及跨任务泛化值得探索。
  3. 欺骗与不忠实：当模型被训练为不诚实或进行欺骗时，内省耦合是否仍然存在？这直接关系到将自解释作为安全工具的可信度。
  4. 不对称性解释：在机制分析中，更改方向为 “从改变到不变” 时解释与行为耦合很强，而反向则弱，这种不对称性的根源有待探究。

总结与展望

本文揭示了语言模型在自解释训练中的一个反直觉现象——内省耦合：即使固定使用早期行为的解释标签，模型仍能学会解释自己当前的行为，且其解释忠实度超过对训练目标的忠实度。这一现象依赖于行为正则化所维持的在线标签-自我相似性，并在多个任务和模型中得到验证。更重要的是，内省耦合能够泛化至辅助后训练引入的新行为，使得模型可以在不更新解释标签的情况下报告行为漂移。

这项工作为构建忠实的自我解释系统开辟了一条可扩展的路径，同时也为语言模型的内省能力提供了新的行为和机制层面证据。它提示我们，未来的模型后训练管线或许可以常规性地嵌入解释训练，以实现对模型行为的持续、低成本自监控。当然，要真正将自解释应用于高风险安全判定，还需深入理解其局限性，尤其是在模型可能发展出欺骗性时。总体而言，内省耦合让我们看到了语言模型 “向内看” 并忠实报告的曙光，值得学界与工业界共同推进。