反事实训练：教会模型合理且可操作的解释

论文信息

标题: Counterfactual Training: Teaching Models Plausible and Actionable Explanations

作者: Patrick Altmeyer, Aleksander Buszydlik, Arie van Deursen, et al.

发布日期: 2026-01-22

arXiv ID: 2601.16205v1

PDF 链接: 下载 PDF

3 分钟速览

• 研究问题：机器学习模型的后置反事实解释（Counterfactual Explanations）往往缺乏合理性和可操作性，本文研究如何直接在训练阶段引导模型学习可解释的内在表征。
• 核心方法：提出反事实训练（Counterfactual Training, CT），在训练过程中动态生成反事实样本，并通过对比散度与对抗损失联合优化，使模型学习的表征与合理、可操作的解释相一致。
• 关键结果：CT 使反事实解释的不合理性降低达 90%（Circ 数据集），在受保护特征约束下，有效反事实的达成成本平均降低约 19%（见表 1）。
• 主要局限：训练时间增加；仅在分类任务上验证有效；对超参数（特别是 CE 生成器和能量正则化强度）较为敏感（见论文第 5 节）。
• 适合读者：对可解释 AI（XAI）、算法救济（Algorithmic Recourse）、鲁棒机器学习感兴趣的工程师和研究人员。

论文背景和研究动机

现代机器学习模型通过高度自由的表征学习取得了巨大成功，但它们也因此变得极为复杂，难以被人类理解。反事实解释（Counterfactual Explanations, CE）作为 XAI 工具箱的重要组成部分，通过回答「输入需要如何改变才能获得期望输出」来帮助理解模型决策，并为受自动决策影响的个体提供算法救济。一个被拒贷的申请人可以知道需要调整哪些财务指标才能获得贷款批准。

为了真正有用，反事实解释必须满足三个核心要求（见论文第 2 节）：

1. 忠实性：解释必须真实反映模型的内部决策逻辑。
2. 合理性：反事实样本应在目标类别的数据分布之内，而非脱离实际。
3. 可操作性：特征变化必须符合现实约束，例如年龄不能倒退。

已有研究大多聚焦于设计模型无关的后置方法，试图为任何已训练好的模型生成满足以上要求的 CE。然而，这种方法存在固有局限：后置方法只能在模型已学到的表征空间内搜索解释，若模型本身的表征就不兼容有意义的解释，后置方法能做的有限。

论文作者因此从根本上转变思路：不再为不透明的模型事后寻找解释，而是让模型在训练阶段就对解释的质量负责。这一思路受到对比学习和鲁棒学习的启发——相关研究已表明，联合能量模型和经过对抗训练的模型天然倾向于产生更合理的反事实解释。

核心方法和技术细节

反事实训练目标

CT 的核心是一个复合训练目标函数（式 2）：

$$\min_\theta \; \text{yloss}(M_\theta(x), y) + \lambda_{\text{div}} \text{div}(x^+, x'_{\text{CE}}, y^+; \theta) + \lambda_{\text{adv}} \text{advloss}(M_\theta(x'_{\text{AE}}), y_{\text{AE}}) + \lambda_{\text{reg}} \text{ridge}(x^+, x'_{\text{CE}}, y; \theta)$$

该目标由四部分组成：

1. 分类损失 $\text{yloss}$：保证模型的基本预测性能，与常规训练一致。
2. 对比散度损失 $\text{div}$：直接引导可解释性。它定义为目标类别真实样本的能量与成熟反事实样本的能量之差（式 4），最小化该散度迫使模型将相同目标类别的真实数据和反事实数据拉近，同时推远不合理的反事实。
3. 对抗损失 $\text{advloss}$：间接增强可解释性。在反事实搜索的早期迭代中产生的、仍在 $\epsilon$ 扰动范围内的「初生反事实」被自动转化为对抗样本进行训练，以此提高模型鲁棒性。
4. 能量正则化 $\text{ridge}$：约束能量项的规模，防止梯度爆炸。

训练流程

训练迭代过程如算法 1 所示：

• 从训练集中随机抽取事实样本 $x'_0$，为其随机分配目标类别 $y^+$，并从该目标类中抽取一个真实样本 $x^+$。
• 通过梯度下降对每个事实样本生成反事实（式 1），记录成熟反事实 $x'_{\text{CE}}$（预测概率达阈值 $\tau$）和初生反事实 $x'_{\text{AE}}$（扰动在 $\epsilon$ 内）。
• 将这些反事实及其对应的目标标签和对抗标签混入小批次，反向传播 CT 目标函数。

可操作性约束的编码

论文对两类约束提供支持：域约束（特征取值范围）通过投影实现；可变性约束（不可变特征）通过将对比散度损失中对应特征的差分项置零来实现（第 3.4 节）。这种机制的理论基础由命题 3.1 给出：在线性分类器及多元高斯分布的假设下，保护不可变特征将导致模型对该特征的敏感性相对降低。

创新点和贡献

方法创新

CT 是首个将反事实生成直接嵌入模型训练目标的框架。与关注后置 CE 生成器设计的现有方法不同，CT 从根本上改变了模型学习表征的方式，使合理性、可操作性等解释质量要求成为训练过程的内在部分。

理论贡献

论文将 CE 和对抗样本（AE）之间的方法论联系形式化，提出通过初生反事实同时获得对抗样本进行训练的策略。这种「免费」获取 AE 的方法，在提升鲁棒性的同时也正向影响了解释的合理性。

实证贡献

实验覆盖 9 个数据集（4 个合成集、4 个真实表格集和 MNIST），验证了 CT 在多个维度上的效果：

• 合理性：在 Circ 数据集上，不合理性降低达 93.84%（IP* 指标）。对真实表格数据集，改进范围为 24.75%–63.06%（见表 1）。
• 可操作性：当特定特征被设为不可变时，有效反事实的达成成本显著降低，如 GMSC 数据集降低 66.01%（见表 1）。综合梯度分析进一步证实，CT 模型对受保护特征的敏感性确实更低（见表 2）。
• 对抗鲁棒性：CT 模型在面对 FGSM 和 PGD 攻击时的鲁棒准确率显著优于常规训练的基线模型（见图 4），尽管鲁棒性并非 CT 的主要优化目标。

消融研究

对 CT 目标函数的消融实验（第 4.4 节）表明，对比散度和对抗损失两部分各自均有贡献，但完整的 CT 目标在合理性和鲁棒性上取得了最一致的效果（见图 5）。

实验结果分析

合理性（RQ 4.1）

CT 在所有数据集上普遍实质性提升了反事实的合理性。从表 1 可见，IP 指标的平均降幅约 15.6%，IP* 指标平均降幅约 25.3%。MNIST 的定性比较尤其直观（见图 2）：常规训练的模型产生的反事实图像难以辨认数字，而 CT 模型的输出则呈现可识别的目标数字。

可操作性与成本（RQ 4.2）

当施加可变性约束时，CT 通常降低了有效反事实的达成成本。这背后的直觉是：CT 迫使模型通过可变特征寻找合理性，从而降低对不可变特征的依赖。综合梯度分析提供了更直接的证据（见表 2），表明 CT 模型对受保护特征的敏感性中位数通常更低，且置信区间更窄，暗示模型行为更一致、更正则化。

鲁棒性与有效性（RQ 4.3）

图 4 展示了对抗攻击下的测试准确率。即便扰动大小达到 0.1，CT 模型的准确率仍保持高位，而基线模型的准确率在某些情况下降至接近零。反事实的有效性（达到目标类的比例）在 CT 下有所下降（表 3），论文指出这并不构成缺陷：CT 缩小了有效解空间，但找到的解往往成本更低、更合理，对受决策影响的个体更具实际价值。

超参数敏感性（RQ 4.5）

网格搜索揭示了关键超参数的影响模式：

• CE 生成器的选择显著影响结果，ECCCo（目标为最大化忠实性）最适配 CT，而依赖替代模型的 REVISE 效果最差。
• 能量正则化强度 $\lambda_{\text{reg}}$ 是关键参数，过低会导致梯度爆炸和效果恶化。
• CT 可以在传统训练的最后 50% epoch 中以微调方式应用，仍可获得理想改善。

实践建议

CT 在金融风控场景的落地思路

对于希望将 CT 应用于自动决策系统（如贷款审批）的工程团队，以下建议可供参考：

1. 从特征审计开始。CT 依赖模型所有者明确指定特征的域约束和可变性约束。在金融场景中，年龄、性别等法律保护特征应设为不可变，而收入、储蓄等则可变。需注意不可变特征可能通过代理变量（如工作年限隐含年龄信息）间接影响模型（见论文第 5 节），建议在特征工程阶段进行相关性审计。

2. 选择适配的 CE 生成器。实验明确显示 ECCCo 是最适配 CT 的生成器，因为它专注于最大化解释的忠实性（见论文第 4.4 节）。在使用 CT 时，应优先选用能将反事实约束在模型已学表征内的生成器。

3. 权衡合理性、成本和有效性。CT 通常会缩小有效解空间（反事实有效性降低），但找到的解更合理、成本更低。这在用户体验层面优于「廉价但脱离实际」的建议。根据业务场景，可通过调整搜索迭代次数 $T$ 和决策阈值 $\tau$ 来平衡。$\tau = 0.5$ 在本研究中表现最优（见论文第 4.4 节）。

4. 注意训练成本与微调策略。CT 比常规训练更耗时，但可借助并行化（论文实现已支持多 CPU 分布式执行）和微调策略缓解。论文发现，仅在训练最后 50% epoch 启用 CT 即可获得良好效果，这对迭代现有模型尤为实用。

5. 作为鲁棒性和可解释性的统一方案。如果系统同时需要高度可解释和鲁棒的模型，CT 提供了一个自然的统一框架。它通过复用初生反事实作为对抗样本，以一种节省计算的方式同时提升这两个维度。