可预测性作为隐私的细粒度度量

论文信息

标题: Predictability as a Fine-Grained Measure for Privacy

作者: Linda Lu, Karthik Sridharan

发布日期: 2026-06-18

arXiv ID: 2606.20546v1

PDF 链接: 下载 PDF

1. 研究背景与动机

现代机器学习模型以互联网规模的数据为食，其中大量信息高度敏感。近年来的研究表明，攻击者可以从深度视觉模型或大语言模型中重建训练数据，这使得数据隐私问题变得空前紧迫。差分隐私（Differential Privacy, DP）长期以来被视为隐私保护的 “黄金标准”，它从最坏情况出发，保证即使攻击者掌握了除某个体之外的所有数据，也无法从算法输出中推断该个体的敏感信息。

然而，差分隐私的严格性也带来了沉重的代价：注入的噪声会显著降低模型精度，迫使实际系统采用极大的隐私参数 $\varepsilon$（例如 $\varepsilon=20$），从而提供几乎形同虚设的个体级隐私保证。同时，差分隐私的 “最坏情况攻击者” 假设——即攻击者已经攻破了除目标个体外的所有数据——在现实中极不现实。在大规模分布式训练中，数据被分片存储在多台服务器上，安全事件往往仅暴露一部分数据（某一分片或配置错误的服务器）。此时，攻击者掌握的是一个随机抽取的子集，而非 “除一人外的全部”。此外，差分隐私无法区分不同敏感查询对隐私泄露程度的影响：一份揭示整体吸烟比例的发布，即便在差分隐私意义下不泄露任何特定个体是否吸烟，却可能暴露未知人群的统计特征。

基于这些局限性，本文提出了一种名为可预测性（predictability）的细粒度隐私度量框架。它将攻击者的 “核心知识”（已泄露数据部分）和一组特定的敏感查询纳入考量，衡量攻击者在观察算法输出前后，对未知个体敏感属性预测能力的提升。这种度量不仅更贴近真实攻击场景，还能与差分隐私互补，为系统设计者提供更精确的隐私控制手段。

2. 核心思想：从 “最坏情况” 到 “细粒度”

可预测性的定义由三个要素驱动：

• 核心知识 $C(S)$：一个随机过程 $\mathcal{P}$ 从数据集 $S$ 中抽取的部分记录，代表攻击者已经掌握的信息。典型例子是通过随机采样或数据泄露得到的子集。
• 敏感查询族 $Q$：攻击者试图回答的关于未知个体的问题，例如 “该个体是否为吸烟者”。
• 损失函数 $\ell$：度量预测质量的函数，常用对数损失或平方损失。

算法 $A$ 的 $\gamma$ -可预测性要求：在所有可能的数据集 $S$ 上，攻击者仅利用核心知识 $C(S)$ 所作的贝叶斯最优预测与同时利用 $C(S)$ 和算法输出 $A(S)$ 所作预测之间的损失差距，不超过 $\gamma$。即：

$$\gamma(\mathcal{P}, Q, \ell, A) = \sup_{S} \mathbb{E}_{C(S), A}\Big[\sup_{q\in Q} \mathbb{E}_{x\sim\Pi} \big[\ell(\hat\theta^*_{q\mid C(S)}, q(x)) - \ell(\hat\theta^*_{q\mid C(S),A(S)}, q(x))\big]\Big] \le \gamma.$$

这里 $x$ 从未知个体集 $\Pi$ 中随机抽取，代表 “平均未知个体”。当使用对数损失时，该定义等价于条件互信息的一个上界，从而将隐私泄漏量化为信息增量。

论文通过一个关键示例展示了可预测性与差分隐私的根本性不可比：考虑一个差分隐私发布的吸烟比例，若攻击者已掌握的 $C(S)$ 中几乎没有吸烟者，则从发布值中可以精确推知未知群体中吸烟者比例很高。虽然差分隐私能确保攻击者无法锁定某个特定个体，但群组级别的信息早已大量泄露。反之，也存在算法维持极小的可预测性却不满足差分隐私。这表明两者衡量的是不同层次的信息泄露，可预测性聚焦于特定查询在整体未知群体上的信息增量，而非单个个体的最坏情况风险。

3. 方法框架：广义矩方法与渐近分析

为了在大型数据集上实现可预测性的高效计算，论文引入了广义矩方法（Generalized Method of Moments, GMM）这一统计学工具。GMM 常用于半参数模型，它允许将样本数据与已知的总体矩条件结合起来进行更准确的参数估计，同时能够刻画估计量的渐近方差。

3.1 攻击者问题转化为 GMM

攻击者拥有核心知识 $C(S)$（源于过程 $\mathcal{P}$ 的一个大小为 $n$ 的样本）和算法输出 $A(S)=\tilde\lambda=\lambda+\Delta$（且 $\Delta\sim\mathcal{N}(0,\Sigma_\Delta)$）。算法输出本质上揭示了一个带噪的总体矩条件 $\mathbb{E}[g(z,\lambda)]=0$。因此，攻击者可以利用 $C(S)$ 直接估计敏感查询 $q$ 的期望 $p$，或者联合 $C(S)$ 与矩条件 $g$ 共同估计。GMM 通过构造如下矩条件：

$$f_{C(S)}(x,\theta) = [w(x)(q(x)-p)], \quad f_{C(S),A(S)}(x,\theta) = [w(x)(q(x)-p),\, w(x)g(x,\lambda),\, \tilde\lambda-\lambda]^\top,$$

其中权重 $w(x)$ 源自从采样分布到均匀分布的密度比，从而统一了估计框架。

3.2 渐近可预测性公式

在过程 $\mathcal{P}$ 满足平稳、遍历、强混合等一般性假设下，论文证明了贝叶斯最优估计器可由有效 GMM 估计器渐近替代。利用 GMM 估计量的渐近正态性和差值定理，可以得到高概率的可预测性界：

$$\gamma(\mathcal{P},q,\ell,A) \le \frac{H(1+\log 4)}{n}\cdot \text{Var}[w(x)q(x)]\cdot \sqrt{\rho_{\text{cc}}^2 - c_0},$$

其中 $\rho_{\text{cc}}$ 是查询 $q'=w(x)q(x)$ 与算法隐矩条件 $g'=w(x)g(x,\lambda)$ 之间的典范相关系数，它量化了算法输出对查询所能提供的最大信息量；$c_0$ 是噪声衰减项，当噪声无穷大时 $c_0\to\rho_{\text{cc}}^2$，可预测性趋近于零。

该公式的优美之处在于所有项（期望、方差、协方差）均可在给定数据集上高效计算，无需繁重的模拟或假设。当攻击者随机掌握 α 比例的数据时（随机分片泄露），渐近结果简化为：

$$\gamma \le \frac{H(1+\log 4)}{(1-\alpha)\alpha N}\cdot \text{Var}[q(x)]\cdot \sqrt{\rho_{\text{cc}}^2 - c_0}.$$

4. 可预测性校准噪声与 ERM 应用

论文进一步将框架应用于经验风险最小化（ERM）的隐私保护，并提出了一种可预测性校准的输出扰动方案。传统差分隐私常采用各向同性高斯噪声，然而，并非所有方向的噪声对隐私（可预测性）贡献相同。通过显式设定噪声协方差为：

$$\Sigma_\Delta = \sigma^2 \left(\mathbb{E}[w(x)H_z]\right)^{-1} \mathbb{E}[w(x)^2\nabla_z\nabla_z^\top] \left(\mathbb{E}[w(x)H_z]\right)^{-1},$$

其中 $H_z$ 为 Hessian 矩阵，$\nabla_z$ 为梯度。此选择下，可预测性界简化为：

$$\gamma \le \frac{H(1+\log 4)}{(1-\alpha)\alpha N}\cdot \text{Var}[q']\cdot \rho_{\text{cc}}\cdot \sqrt{\frac{1}{\sigma^2+1}}.$$

通过调整 $\sigma^2$ 即可直接控制可预测性水平。更重要的是，这一噪声方案能根据损失曲率和梯度协方差自适应分配噪声：在损失平坦或梯度方差小的区域添加较少噪声，从而在相同可预测性下获得更优的预测精度。以线性回归为例，论文证明校准噪声所带来的额外精度损失仅与经验损失 $\hat L_S(w_{\text{ERM}})$ 成比例，而各向同性噪声损失则取决于特征范数，当模型拟合良好时前者优势明显。

5. 扩展到查询族与未知过程

实际需求往往涉及整个敏感查询族或攻击过程未知的情形。

• 有限查询与过程族：通过联合界技术，可直接将单查询界限推广到所有过程权重 $w$ 和查询 $q$ 的集合上，代价是 $|\mathcal{Q}|\cdot|\mathcal{W}_\mathcal{P}|$ 的对数因子。
• 线性查询族：以线性函数 $q(x)=u^\top x$ 为例，焦点转移到估计 $\mathbb{E}[x]$ 本身，利用 GMM 得到 $\hat\theta_x$ 的渐近协方差，进而突出第一典型相关 $\rho_{\text{cc}}^1(x,g)$，它是典型相关分析（CCA）的核心量，揭示了特征与算法隐矩条件之间的整体相关性。复杂度由高斯宽度控制。
• 利普希茨查询族：利用 $\|f(x)-f(\mu)\|\le L\|x-\mu\|$ 的性质，可将问题约化为对 $\hat\theta_x$ 的精度控制，获得的界限同样依赖于 CCA 特征值和噪声衰减。

这些拓展开辟了一条路径：系统设计者可以为整个标签群或任意光滑函数提供统一定量保障，而无需针对每个查询重新分析。

6. 实践建议与未来方向

实践应用建议

1. 与差分隐私互补：在部署高 $\varepsilon$ 的差分隐私算法时，可计算其可预测性，向用户报告针对特定攻击场景（如随机分片泄露）和敏感查询的额外信息泄露量。
2. 细粒度噪声设计：对于 ERM 等常用算法，可采用可预测性校准噪声替代各向同性噪声，在相同可预测性下提升模型精度。只需额外计算梯度协方差和 Hessian 期望，计算复杂度 $O(Nd^2+d^3)$，对于大规模模型可配合随机近似。
3. 攻击知识建模：算法设计者应努力刻画可能的数据泄露过程（如单服务器风险），即便不完全精确，使用一族过程仍能提供可靠的界限。

未来研究方向

• 将渐近界扩展至有限样本的非渐近形式，纳入次高斯尾界。
• 开发针对未知过程的完全自适应方案，如通过在线估计权重 $w(x)$。
• 研究可预测性的自适应组合性质，类比差分隐私的组合定理，以支持多次查询或迭代训练。
• 将框架推广到非凸损失下的随机梯度下降，用于深度学习中的隐私分析。

7. 总结

本文提出了可预测性这一细粒度隐私度量，成功架起了攻击者知识、敏感查询和算法信息泄露之间的桥梁。通过 GMM 这一成熟的统计工具，框架不仅具备坚实的理论根基，还提供了可高效计算的数值指标。与差分隐私相比，它放弃了 “最坏情况、全查询” 的绝对保障，转而提供更贴近真实威胁场景的、可定制的隐私分析，同时能与差分隐私联合部署，增强实用性。这种从 “绝对” 到 “条件” 的视角转换，有望推动隐私保护机器学习在实用性与严密性之间找到新的平衡点。