联邦学习中的威胁模型

在设计防御措施之前，了解联邦学习系统的潜在弱点非常重要。威胁模型明确了潜在攻击者的能力和目标，有助于我们分析风险并评估应对方法。在联邦学习中，其分布式特性相比传统的中心化机器学习，带来了独特的攻击面。

我们通常根据攻击者在系统中的位置及其目的来划分威胁。攻击者可能是参与训练的恶意客户端、协调过程的中心服务器，甚至是拦截通信的外部窃听者。他们的目的可以是从降低全局模型性能到获取参与者私人数据的敏感信息。

攻击者位置与能力

我们来分析攻击者可能采取行动的主要位置：

恶意客户端（内部威胁）

参与联邦学习过程的客户端被视为默认遵循协议。然而，一些客户端可能是恶意的或被攻陷的。这些“内部”攻击者控制着他们的本地数据和计算。他们的能力通常包括：

• 数据篡改： 他们可以在训练开始前修改其本地数据集。
• 计算篡改： 他们可以偏离预设的本地训练算法（例如，修改梯度、改变本地目标函数）。
• 更新篡改： 他们可以制作恶意模型更新或梯度并发送回服务器。

一个常见设想是，攻击者控制着总客户端的一部分，常记为 $f$。攻击者可能协调这些恶意客户端（串通）或独立行动。

恶意服务器/聚合器

中心服务器虽然无法直接访问原始客户端数据，但它负责协调联邦学习过程。一个被攻陷或恶意的服务器拥有重要的控制力：

• 访问聚合更新： 服务器会观察客户端发送的所有更新（梯度或模型权重），尽管隐私技术可能会对其进行加密或模糊处理。
• 控制聚合： 服务器执行聚合逻辑，并可能对其进行操纵。
• 模型分发： 服务器将更新后的全局模型分发给客户端。
• 客户端选择： 服务器通常选择哪些客户端参与每一轮。

此处一个常见的模式是“诚实但好奇”的服务器。这类服务器会正确遵循联邦学习协议，但会尝试从其收到的合法更新中推断信息。一个完全恶意的服务器可能会主动干扰过程。

外部窃听者

核心联邦学习系统（客户端和服务器）之外的攻击者可能会尝试拦截客户端与服务器之间的通信。

• 观察更新： 如果通信通道不安全，窃听者可以观察传输中的模型更新。这方面的敏感度取决于更新本身是否受到保护（例如，通过加密或安全聚合）。

现代联邦学习系统通常假设通信通道是安全的（例如，TLS/SSL），这使得与恶意参与者或服务器本身的威胁相比，对原始更新的被动窃听不再是主要担忧。然而，元数据泄露（例如，更新的时间、频率）仍可能发生。

攻击者可以是恶意客户端、被攻陷的服务器或外部窃听者，各自针对联邦学习过程的不同部分。

攻击者目的与攻击类别

根据自身能力和位置，攻击者会寻求不同的目标：

投毒攻击（完整性与可用性）

投毒攻击主要由恶意客户端实施，旨在破坏训练过程或最终的全局模型。

• 数据投毒： 恶意客户端操纵其本地训练数据，以扭曲其计算出的本地模型更新。例如，他们可能错误标记数据点或注入旨在后续导致特定输入分类错误的样本。这会在聚合后间接影响全局模型。
• 模型投毒： 恶意客户端直接操纵发送给服务器的模型更新，而无需修改其底层数据。这使得攻击控制更加直接。
  • 无目标攻击： 旨在降低全局模型在其主要任务上的整体性能（可用性攻击）。目的仅仅是让模型准确性降低或变得无用。
  • 有目标攻击（后门攻击）： 一种更复杂的攻击，其目的是使全局模型仅在特定、攻击者选择的输入上出现错误行为（例如，将带有特定水印的图像分类为某一类别），同时在一般数据上保持良好性能。这会损害模型的完整性。

检测和缓解投毒攻击具有挑战性，特别是在异构（非独立同分布）环境中，偏离的更新可能与数据分布异常的客户端的合法更新相似。聚合规则将在第2章讨论，是一种主要的防御机制。

推断攻击（隐私侵犯）

这些攻击旨在获取关于客户端私人数据的敏感信息，通常由好奇的服务器实施，如果更新未得到适当保护，也可能由其他客户端或窃听者实施。由于原始数据理想情况下永远不会离开客户端设备，攻击者会尝试从共享的模型更新（梯度或权重）中推断信息。

• 成员推断： 试图判断某个特定数据记录是否属于某个客户端的训练数据集。了解某人的记录被用于训练（例如，用于医疗模型）本身可能就很敏感。
• 属性推断： 试图推断客户端数据集的聚合属性，而这些属性并非明确旨在共享（例如，训练数据中某个特定人口群体的比例，即使个人记录未被识别）。
• 数据重建/梯度反演： 最强的隐私攻击，旨在从共享的梯度或模型更新中重建实际训练数据样本的近似值。尽管精确重建很困难，但即使是部分重建也可能泄露大量信息，特别是对于图像或文本等高维数据。技术通常涉及优化输入数据以匹配观察到的梯度，有时会利用对模型架构或数据分布特性的了解。

这些攻击显示，仅仅不共享原始数据不足以保护隐私。模型更新本身就携带着可以被利用的信息。诸如差分隐私（DP）和安全多方计算（SMC）等隐私增强技术，将在第3章详细介绍，它们被设计来正式限制此类信息泄露。

理解这些威胁模型是根本。在设计或分析高级联邦学习技术（如新的聚合规则、隐私机制或通信策略）时，我们必须持续评估它们抵御这些潜在攻击的能力。对攻击者的假设（例如，他们的计算能力、对系统的了解、控制的客户端比例）会显著影响不同防御机制的有效性和适用性。