ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

高级联邦学习技术
章节 1: 联邦学习核心原理重温
联邦学习原则回顾
联邦环境中的难题
联邦优化的数学表述
同步联邦学习模型与异步联邦学习模型
联邦学习中的威胁模型
评估联邦学习系统
章节 2: 高级聚合算法
联邦平均(FedAvg)的局限性
FedProx:处理统计异质性
SCAFFOLD: 联邦优化中的方差降低
FedNova:针对异构系统的规范化平均
拜占庭容错聚合方法
自适应联邦优化方法
实践:实现高级聚合
章节 3: 提升联邦学习中的隐私保护
联邦学习中的差分隐私机制
将差分隐私应用于梯度更新
组合定理与隐私预算管理
安全多方计算 (SMC) 聚合协议
同态加密 (HE) 用于安全聚合
联邦学习中差分隐私、安全多方计算与同态加密的比较
隐私攻击:推断与重建
动手实践:实现DP-FedAvg
章节 4: 处理异质性和个性化
异构性的来源:统计性与系统性
处理非独立同分布数据的技术
聚类联邦学习方法
联邦个性化中的元学习
联邦设置中的多任务学习
模型剪枝与设备限制适应
实践:模拟非独立同分布数据及缓解方法
章节 5: 通信效率与系统优化
联邦学习中的通信瓶颈
梯度压缩技术
误差累积与补偿方法
模型更新压缩方法
优化本地计算
异步联邦学习优化
动手实践:实现梯度量化
章节 6: 联邦学习系统设计与实现
联邦学习系统的架构
联邦学习框架概览
模拟与部署
联邦系统的监控与调试
跨筒仓与跨设备联邦学习实现
系统部署中的安全考量
实践:搭建基础联邦学习仿真

联邦学习中的威胁模型

在设计防御措施之前,了解联邦学习系统的潜在弱点非常重要。威胁模型明确了潜在攻击者的能力和目标,有助于我们分析风险并评估应对方法。在联邦学习中,其分布式特性相比传统的中心化机器学习 (machine learning),带来了独特的攻击面。

我们通常根据攻击者在系统中的位置及其目的来划分威胁。攻击者可能是参与训练的恶意客户端、协调过程的中心服务器,甚至是拦截通信的外部窃听者。他们的目的可以是从降低全局模型性能到获取参与者私人数据的敏感信息。

攻击者位置与能力

我们来分析攻击者可能采取行动的主要位置:

恶意客户端(内部威胁)

参与联邦学习过程的客户端被视为默认遵循协议。然而,一些客户端可能是恶意的或被攻陷的。这些“内部”攻击者控制着他们的本地数据和计算。他们的能力通常包括:

  • 数据篡改: 他们可以在训练开始前修改其本地数据集。
  • 计算篡改: 他们可以偏离预设的本地训练算法(例如,修改梯度、改变本地目标函数)。
  • 更新篡改: 他们可以制作恶意模型更新或梯度并发送回服务器。

一个常见设想是,攻击者控制着总客户端的一部分,常记为 fff。攻击者可能协调这些恶意客户端(串通)或独立行动。

恶意服务器/聚合器

中心服务器虽然无法直接访问原始客户端数据,但它负责协调联邦学习过程。一个被攻陷或恶意的服务器拥有重要的控制力:

  • 访问聚合更新: 服务器会观察客户端发送的所有更新(梯度或模型权重 (weight)),尽管隐私技术可能会对其进行加密或模糊处理。
  • 控制聚合: 服务器执行聚合逻辑,并可能对其进行操纵。
  • 模型分发: 服务器将更新后的全局模型分发给客户端。
  • 客户端选择: 服务器通常选择哪些客户端参与每一轮。

此处一个常见的模式是“诚实但好奇”的服务器。这类服务器会正确遵循联邦学习协议,但会尝试从其收到的合法更新中推断信息。一个完全恶意的服务器可能会主动干扰过程。

外部窃听者

核心联邦学习系统(客户端和服务器)之外的攻击者可能会尝试拦截客户端与服务器之间的通信。

  • 观察更新: 如果通信通道不安全,窃听者可以观察传输中的模型更新。这方面的敏感度取决于更新本身是否受到保护(例如,通过加密或安全聚合)。

现代联邦学习系统通常假设通信通道是安全的(例如,TLS/SSL),这使得与恶意参与者或服务器本身的威胁相比,对原始更新的被动窃听不再是主要担忧。然而,元数据泄露(例如,更新的时间、频率)仍可能发生。

攻击者可以是恶意客户端、被攻陷的服务器或外部窃听者,各自针对联邦学习过程的不同部分。

攻击者目的与攻击类别

根据自身能力和位置,攻击者会寻求不同的目标:

投毒攻击(完整性与可用性)

投毒攻击主要由恶意客户端实施,旨在破坏训练过程或最终的全局模型。

  • 数据投毒: 恶意客户端操纵其本地训练数据,以扭曲其计算出的本地模型更新。例如,他们可能错误标记 (token)数据点或注入旨在后续导致特定输入分类错误的样本。这会在聚合后间接影响全局模型。
  • 模型投毒: 恶意客户端直接操纵发送给服务器的模型更新,而无需修改其底层数据。这使得攻击控制更加直接。
    • 无目标攻击: 旨在降低全局模型在其主要任务上的整体性能(可用性攻击)。目的仅仅是让模型准确性降低或变得无用。
    • 有目标攻击(后门攻击): 一种更复杂的攻击,其目的是使全局模型仅在特定、攻击者选择的输入上出现错误行为(例如,将带有特定水印的图像分类为某一类别),同时在一般数据上保持良好性能。这会损害模型的完整性。

检测和缓解投毒攻击具有挑战性,特别是在异构(非独立同分布)环境中,偏离的更新可能与数据分布异常的客户端的合法更新相似。聚合规则将在第2章讨论,是一种主要的防御机制。

推断攻击(隐私侵犯)

这些攻击旨在获取关于客户端私人数据的敏感信息,通常由好奇的服务器实施,如果更新未得到适当保护,也可能由其他客户端或窃听者实施。由于原始数据理想情况下永远不会离开客户端设备,攻击者会尝试从共享的模型更新(梯度或权重 (weight))中推断信息。

  • 成员推断: 试图判断某个特定数据记录是否属于某个客户端的训练数据集。了解某人的记录被用于训练(例如,用于医疗模型)本身可能就很敏感。
  • 属性推断: 试图推断客户端数据集的聚合属性,而这些属性并非明确旨在共享(例如,训练数据中某个特定人口群体的比例,即使个人记录未被识别)。
  • 数据重建/梯度反演: 最强的隐私攻击,旨在从共享的梯度或模型更新中重建实际训练数据样本的近似值。尽管精确重建很困难,但即使是部分重建也可能泄露大量信息,特别是对于图像或文本等高维数据。技术通常涉及优化输入数据以匹配观察到的梯度,有时会利用对模型架构或数据分布特性的了解。

这些攻击显示,仅仅不共享原始数据不足以保护隐私。模型更新本身就携带着可以被利用的信息。诸如差分隐私(DP)和安全多方计算(SMC)等隐私增强技术,将在第3章详细介绍,它们被设计来正式限制此类信息泄露。

理解这些威胁模型是根本。在设计或分析高级联邦学习技术(如新的聚合规则、隐私机制或通信策略)时,我们必须持续评估它们抵御这些潜在攻击的能力。对攻击者的假设(例如,他们的计算能力、对系统的了解、控制的客户端比例)会显著影响不同防御机制的有效性和适用性。

  • A Survey on Security and Privacy Issues in Federated Learning, Qin Lyu, Hongsong Wang, Yanjun Li, Jiahui Li, Wenli Zhou, 2020 ACM Computing Surveys, Vol. 53 (Association for Computing Machinery (ACM)) DOI: 10.1145/3371989 - 本综述概述了联邦学习中的安全和隐私挑战、对抗模型及防御机制。
  • Deep Leakage from Gradients, Ligeng Zhu, Zhijian Liu, Song Han, 2019 Advances in Neural Information Processing Systems (NeurIPS), Vol. 32 (Neural Information Processing Systems Foundation Inc.) - 本文介绍了梯度反演攻击,展示了如何从联邦学习中共享的梯度重建原始数据。
  • How to backdoor Federated Learning, Eugene Bagdasaryan, Andreas Veit, Yiqing Hua, Deborah Estrin, Vitaly Shmatikov, 2020 Proceedings of the Twenty Third International Conference on Artificial Intelligence and Statistics, Vol. 108 (PMLR) - 本文详细介绍了针对联邦学习的实际后门攻击,恶意客户端可将特定漏洞植入全局模型中。

© 2026 ApX Machine Learning