DiffusionGemma 的透明度如何？

论文信息

标题: How Transparent is DiffusionGemma?

作者: Joshua Engels, Callum McDougall, Bilal Chughtai, et al.

发布日期: 2026-06-18

arXiv ID: 2606.20560v1

PDF 链接: 下载 PDF

3 分钟速览

研究问题：文本扩散模型 DiffusionGemma 的大部分计算在连续潜在空间中进行，这是否会使其推理过程比自回归模型更不透明？
核心方法：将透明度分解为不透明串行深度、变量透明度、监控能力、算法透明度四个维度，通过计算最长连续计算路径、对中间瓶颈进行可解释性干预（Logit Lens 压缩为 top‑k 词元）、运行监控能力基准以及一系列案例研究来综合评估。
关键结果：当中间状态被假定为可解释时，DiffusionGemma 的不透明串行深度仅为对应 Gemma 4 模型的 1.1 倍（见第 2.2 节表 1），且在多项监控能力评测中两者的表现相似。
主要局限：监控能力评测在多画布（multi‑canvas）场景下进行，可能掩盖单画布透明度下降；当前观察到的可解释性可能来自训练范式或架构的特殊选择，未来更强大的文本扩散模型可能出现退化。
适合读者：对语言模型透明度、AI 安全、可解释性方法及文本扩散模型感兴趣的研究者与工程师。

论文背景和研究动机

近年来，大语言模型普遍采用自回归生成并输出自然语言链式思考（chain‑of‑thought, CoT）。CoT 的可读性被视作模型对齐与安全的关键支柱：监控者可以通过阅读 CoT 检测奖励破解、提示注入等异常行为，而控制协议和风险分析也依赖 CoT 的透明度。然而，新发布的 DiffusionGemma 属于文本扩散模型，它在推理时反复对一整个 “画布”（canvas）进行去噪，每一步的中间状态不仅包含自然语言词元，还包含稠密的自条件向量，这些向量默认不可读。

如果模型可以绕过自然语言瓶颈进行更多串行计算，那么其透明度和监控能力就可能大幅下降。这正是该论文试图回答的核心问题：DiffusionGemma 在多大程度上保持了透明度？它是否可以和自回归模型一样，允许监控者从中间状态中提取出可理解的信息？作者希望通过系统化的分析，为评估未来潜在推理模型设立一个模板。

核心方法和技术细节

论文将透明度分解为四个轴，并结合理论分析和实验展开。

不透明串行深度：该指标衡量模型中不经过任何可解释瓶颈的最长串行计算路径（见第 2.2 节）。作者分别计算了 DiffusionGemma 和 Gemma 4 的不透明串行深度上界。在假设中间状态（词元 + 自条件向量）不可解释时，DiffusionGemma 的深度是 Gemma 4 的 28.6 倍；但若中间状态可解释，则仅为其 1.1 倍（表 1）。这一计算揭示了可解释性假设的决定性作用。

变量透明度与瓶颈干预：为了检验中间状态是否确实可读，作者通过 Logit Lens 将自条件矩阵 $\mathbf{S}^t$ 限制为每个位置最可能的 $k$ 个词元或概率超过 $p$ 的词元。他们发现 $k=8$ 或 $p=0.03$ 时，模型的代码、数学等能力与原始模型持平（图 2）。进一步分析这些被保留的词元的含义，显示它们绝大多数是对最终词元（或相邻位置词元）的猜测（图 3），因此基本可解释。这意味着可以几乎无损地将自条件向量映射到自然语言，从而使不透明串行深度降至接近自回归模型的水平。

监控能力评估：作者采用 Guan 等人（2025）的监控能力评测套件，测试监控者能否根据模型输出来推断行为属性（如是否受到干预、是否利用特定推理路径）。这些评测覆盖干预、过程、结果属性三种原型。DiffusionGemma 与 Gemma 4 在可比较的数据集上监控能力相近（图 4），尽管 DiffusionGemma 的 CoT 更短（图 5）。该结果说明，即使中间状态是连续的，最终输出仍然能为监控提供相当程度的信息。

算法透明度案例研究：为揭示扩散模型特有的推理算法，作者构建了可视化工具（摘要视图、折线图、采样表），并记录了非顺序推理、词元涂抹、序列涂抹、中间上下文推理等现象（第 5 节）。例如，在 “先给答案再给出推理” 的提示下，模型会先预测错误答案 9，随后在完成推理后自动更正为 8（图 8）。在代码生成中，模型先搭建结构骨架，再填补细节（图 9）。涂抹现象则展示模型如何将概率质量分散在相邻位置（词元涂抹）或同时保持多个候选子序列（序列涂抹），然后逐步收敛。而在斐波那契任务中，模型会先生成 “3” 作为中间占位，用于计算后继项，最后替换为 “Gold”（图 13）。这些观察证明扩散模型能够实现自回归模型无法执行的并行、非顺序推理模式。

创新点和贡献

提出针对文本扩散模型的多维透明度评估框架：首次系统性地衡量不透明串行深度、变量透明度、监控能力和算法透明度，为未来潜在推理模型的审计提供了可复用的方法论。
证明简单干预即可恢复可解释性：通过 Logit Lens 将自条件向量压缩为少量可读词元而不损失能力，将不透明串行深度降低至与自回归模型相当，这提供了一种低成本的透明度增强技术。
发现并系统描述扩散特有的推理现象：非顺序推理、词元/序列涂抹、中间上下文推理等现象展示了扩散模型不同于自回归模型的算法行为，扩展了可解释性研究的对象和深度。
实验验证监控能力可比性：在现有监控基准上给出 DiffusionGemma 与 Gemma 4 的表现对比，为扩散模型的部署安全提供实证支持。

实验结果分析

实验从多个角度支撑了上述贡献。瓶颈消融实验（图 2）表明 top‑8 或概率 > 0.03 的干预几乎不影响 Natural2Code、GPQA、数学竞赛题等多项能力，说明关键信号被保留在少数高概率词元中。随后对中间词元的分类统计（图 3）显示，超过 85% 的保留词元属于 “最终词元” 或 “相邻词元” 类别，进一步确认它们大多是 “猜测”，而非隐藏的复杂推理。

监控能力实验的比较（图 4）显示了两个模型在多数任务上的 G‑mean 接近，误差条重叠，表明 DiffusionGemma 在输出信息的监控可用性上并未出现严重退化。但是，作者谨慎指出这些评测均涉及多画布推理，而单画布内可能发生更隐蔽的推理，这一点尚待检验。

案例研究则定性地展示了扩散模型推理模式的丰富性。例如，提前预测响应长度（图 7）显示模型在仅两步去噪后就能准确估计最终长度；顺序涂抹（图 10、11、12）则表明模型可能在 “锁定” 正确答案之前探索多个可能的序列，这类似于内置的集束搜索，但同时也给监控带来挑战，因为潜在的备选方案可能分散在不同步骤的中间状态中。

实践建议

基于本文的发现，对未来文本扩散模型及潜在推理模型的开发与审计可提出以下实践建议：

将不透明串行深度纳入模型发布标准：类似参数量、上下文长度，开发者应报告模型在假设瓶颈可解释与不可解释两种条件下的不透明串行深度，作为透明度指标之一。本文使用的串行深度分析工具可以开箱即用。
采用轻量瓶颈干预进行透明度增强：在模型推理时，可将中间自条件向量投射为 top‑k 词元，提供给监控者或记录到日志中，而不需修改模型架构或重新训练。由于 $k=8$ 或 $p=0.03$ 即可维持性能，这几乎不会增加推理延迟。
构建单画布监控能力评测集：现有评测跨多个画布，可能掩盖扩散模型在单画布内的透明度损失。研究者应设计在 256 词元以内完全解决的监控任务，专门评估单画布推理的监控可用性。
开发潜在空间翻译技术：当简单的 Logit Lens 不足以提取可读信息时（例如未来模型潜在状态更加纠缠），需要更强大的方法将激活转化为自然语言，如自然语言自编码器（NLA）或激活预言机。可以提前在 DiffusionGemma 上验证这些技术，为更不透明的潜在模型做准备。
持续监测模型行为退化：在强化学习或更大规模训练后，模型可能学会在潜在空间隐藏推理。开发者应周期性运行类似本文的案例研究（如涂抹现象、中途占位符等），以检测阈值是否发生变化，并评估监控能力是否下降。

通过这些措施，我们可以从当前相对透明的扩散模型中提取经验，为未来可能更具风险的潜在推理模型建立安全护栏。本文的分析框架和工具集可作为模板，加速行业对新型架构透明度的评估与应对。