模型反演与重建攻击

成员身份和属性推断攻击旨在推断有关训练数据的属性，而模型反演和重建攻击则更进一步：它们试图生成代表训练数据或可能与训练数据相同的数据样本。这表示严重的隐私泄露，尤其是在处理医疗图像或人脸等敏感数据时。

主要思想是运用已训练模型 $f$ 本身作为其训练集 $D_{train}$ 的信息来源。如果模型已学会有效识别特定类别的模式，攻击者能否反向生成明显表现出这些模式的输入？

模型反演与重建的目标

模型反演通常指为特定类别标签 $y$ 生成代表性输入的过程。给定一个目标类别 $y_{target}$，攻击者寻找一个输入 $x^*$，使得模型 $f$ 确信地预测 $x^*$ 属于 $y_{target}$。生成的 $x^*$ 通常类似于模型学到的该类别的“平均”或“原型”实例。

重建攻击通常更有雄心，旨在恢复训练期间实际使用的特定数据点 $x \in D_{train}$。这通常比生成类别原型困难得多。

这些攻击主要凭借模型参数 (parameter)中编码的知识，这些知识通过预测查询获得。

基于优化的模型反演

一种常见的方法，在可获得梯度信息或详细置信度分数的白盒或灰盒设置中特别有效，是基于优化的反演。攻击者旨在寻找一个输入 $x^*$，以最大化模型对目标类别 $y_{target}$ 的置信度。

设 $f(x)_y$ 为模型在给定输入 $x$ 时对类别 $y$ 的输出（例如，对数几率或概率）。目标是寻找：

$$x^* = \arg \max_x f(x)_{y_{target}} - \lambda R(x)$$

这里，$f(x)_{y_{target}}$ 是目标类别的置信度分数。$R(x)$ 是一个正则化 (regularization)项，它促使生成的 $x^*$ “真实”或符合预期的输入分布（例如，偏向自然图像）。$\lambda$ 是正则化项的权重 (weight)因子。

优化过程通常始于一个随机噪声输入，并基于模型对目标类别的输出，使用梯度上升（或类似的优化算法）迭代更新它。

例如，在一个用于识别个人的面部识别系统中，攻击者可能针对对应“爱丽丝”的类别。通过最大化模型对“爱丽丝”类别的输出分数，优化过程可能收敛到一张图像 $x^*$，该图像类似于模型强烈地与爱丽丝相关联的特征的面部图像。这张生成的图像可能不是训练集中爱丽丝的精确照片，但可以显露显著的面部特征，构成隐私泄露。

一个基于优化的模型反演过程。始于随机噪声，攻击者迭代地查询模型并使用梯度更新输入，以最大化目标类别的置信度分数，最终生成代表性图像。

从梯度重建

在特定场景中，特别是在联邦学习或其他分布式训练范式中，当本地用户数据上计算的模型更新（梯度）被共享时，攻击者可能尝试直接从这些梯度中进行重建。如果攻击者截获或观察到包含用户数据点 $x$ 的特定批次计算出的梯度，他们可能会尝试在给定梯度信息 $\nabla_\theta L(f(x, \theta), y)$ 的情况下求解 $x$。这是一个复杂的逆问题，但已在特定条件下显示可行，可能显露精确的训练样本。

影响脆弱性的因素

模型反演和重建的成功取决于以下几个因素：

• 模型容量与记忆： 高度复杂的模型（例如，大型深度神经网络 (neural network)）有更大能力记忆训练数据的特定细节，可能使重建更简单。过拟合 (overfitting)会加剧此情况。
• 输出粒度： 访问详细的置信度分数或对数几率比仅有硬类别标签为优化提供更多信息。
• 数据类型与独特性： 与更通用的对象类别相比，对于人脸或独特的医学扫描等数据类型，攻击在视觉上更具识别性且可能更有害。如果一个类别对应于单个个体（例如，人脸识别），反演可能会显露该人的特征。
• 正则化 (regularization)与训练技术： 差分隐私等方法旨在明确限制单个训练点的信息泄露，使反演和重建更困难。阻止过拟合的正则化技术（如L1/L2范数、dropout）也可能提供一些缓解措施。

隐私影响

模型反演攻击表明，即使无法直接访问训练数据，也能从已训练模型本身推断出重要信息。生成代表性图像或可能重建特定训练样本的能力构成严重的隐私风险：

• 显露敏感属性： 生成的面部图像可能显露与类别标签相关的种族、性别或大概年龄。
• 显露原型： 对于医学图像分类器，反演可能显露模型学到的特定疾病的典型视觉特征。
• 损害身份： 在识别特定个体的系统中，反演可能生成与这些个体相似的图像。

尽管训练数据的完美重建通常困难，但仅生成类别原型就可能泄露模型从私有数据中学到的敏感信息。了解这些脆弱性对负责任地开发和部署机器学习 (machine learning)模型来说非常重要，尤其是在敏感数据集上训练时。防御措施通常包括限制模型输出或梯度显露的信息，或在训练期间纳入差分隐私等正式的隐私保证。