与差分隐私的关联

推断攻击，例如成员推断和属性推断，显示出具体的隐私风险：训练数据的信息可能通过模型的预测或参数 (parameter)泄露。这些攻击之所以成功，是因为模型的行为会根据它所训练的特定数据点发生细微变化。为了构建能提供更强抵御此类泄露的系统，我们需要一种更精确的方法来量化 (quantization)和限制这种信息暴露。差分隐私 (DP) 便提供了这种方法。

理解差分隐私

差分隐私是隐私的一种数学定义，它提供可靠、可量化 (quantization)的保证。其核心在于，差分隐私确保计算结果（如训练机器学习 (machine learning)模型）在统计上几乎无法区分，无论数据集中是否包含任何单个个体的数据。

设想两个数据集 $D$ 和 $D'$，它们只相差一条记录（例如，$D'$ 比 $D$ 少了一个人的数据）。一个随机机制 $M$（可以是模型训练过程）满足 $(\epsilon, \delta)$-差分隐私，如果对于所有可能的输出 $S$，以下不等式成立：

$P(M(D) \in S) \le e^\epsilon P(M(D') \in S) + \delta$

在此：

• $\epsilon$ (epsilon) 是隐私预算。它是一个非负数，值越小意味着隐私性越强。$\epsilon$ 为 0 意味着输出与任何单个个体的数据完全无关（理想隐私，通常不切实际）。随着 $\epsilon$ 增加，隐私保证减弱，但可能允许更高的效用（例如，模型准确性）。
• $\delta$ (delta) 代表一个很小的概率（通常非常接近零），即纯粹的 $\epsilon$-隐私保证可能会被打破。满足此条件的机制称为 $(\epsilon, \delta)$-差分隐私或近似差分隐私。

其主要思想是合理否认。如果模型 $M$ 具有差分隐私性，观察其输出 $M(D)$ 的攻击者无法确信地判断某个特定个体是否属于训练集 $D$，因为即使该个体被移除（数据集 $D'$），输出分布也仍非常相似。

此图阐明了差分隐私的核心原理。随机机制 $M$ 应用于两个只相差一条记录的数据集（$D$ 和 $D'$）后，其输出分布在统计上必须相近，以阻碍对个体参与情况的推断。

差分隐私如何减缓推断攻击

通过提供这种正式保证，差分隐私直接对抗了许多推断攻击背后的机制：

• 成员推断： 这些攻击通常依赖于捕捉模型对于训练集中输入与非训练集中输入的行为差异（如置信度分数或损失值）。根据定义，差分隐私模型必须在单个训练点存在与否的情况下生成相似的输出。这平滑了成员推断攻击所依仗的差异，使得攻击者更难以根据模型输出来区分成员和非成员。差分隐私保证越强（$\epsilon$ 越小），攻击难度越大。

• 属性推断： 属性推断试图获取训练记录的敏感特征。由于差分隐私限制了任何单条记录对最终模型的影响，它自然地限制了该记录的特定属性有多少信息可以被编码到模型参数 (parameter)中或通过其预测暴露。差分隐私引入的随机化模糊了单个属性的精确贡献。

• 模型反演： 模型反演尝试重构训练数据类别的代表性样本。尽管差分隐私不一定阻止学习类别的一般特征（这可能是训练目标），但它使得重构特定训练样本变得困难得多。为隐私添加的噪声或随机化模糊了可归因于任何单个训练样本的微小细节。

隐私-效用权衡

应用差分隐私并非没有代价。实现差分隐私保证所需的随机化通常会在学习过程或模型输出中引入噪声。这种噪声会降低模型在其主要任务（例如，分类准确性）上的表现。

这存在一个固有的权衡：

• 更强的隐私性（$\epsilon$ 越低）通常需要更多噪声或随机化，可能导致更低的效用。
• **更高的效用（更高的准确性）**通常需要放宽隐私保证（允许更大的 $\epsilon$）。

选择合适的 $\epsilon$ 需要在期望的隐私保护水平与特定应用可接受的性能下降水平之间取得平衡。

实现更强的隐私保证（向左移动，即 $\epsilon$ 更低）通常会导致模型效用低于非隐私基线。具体曲线很大程度上取决于任务、模型、数据和所使用的差分隐私机制。

适用范围与局限

理解差分隐私的作用和局限很重要：

1. 关注数据隐私： 差分隐私主要针对训练数据中个体隐私，以防基于发布产物（如训练模型、聚合统计数据）的推断。
2. 并非所有攻击的防御： 标准差分隐私本身并不阻止规避攻击（对抗性样本）或后门攻击，这些攻击通过与标准差分隐私定义中单个数据点包含/排除不直接相关的方式操纵输入或训练过程。然而，某些差分隐私训练技术（例如向梯度添加噪声的差分隐私-SGD）可能会偶然地对某些投毒策略提供有限的抵抗。
3. 模型窃取： 差分隐私与模型窃取的关联性较不直接。尽管差分隐私模型中的噪声可能会使被窃取模型的准确性降低，但差分隐私本身并不能阻止具有足够查询权限的攻击者创建模仿差分隐私模型（带噪声）功能的替代模型。差分隐私的目标是数据隐私，而不一定是模型知识产权保护。
4. 实施复杂性： 正确实施和分析差分隐私机制，特别是对于深度神经网络 (neural network)等复杂模型（例如，使用差分隐私-SGD），需要细致的设计和分析，以确保隐私保证成立，同时不过度损害效用。跟踪跨多个计算的累积隐私预算（$\epsilon$）也是一个重要的考量。

总而言之，差分隐私为推断和限制机器学习 (machine learning)模型中的隐私泄露提供了一个有原则的数学依据。它通过确保模型输出对任何单个个体数据的存在与否都不敏感，从而有效抵御本章所讨论的推断攻击。然而，有效地部署差分隐私需要仔细考量隐私保证与模型效用之间的核心权衡，并理解其适用范围和实际实施方面的挑战。