联邦环境中的难题

尽管在不直接访问数据的情况下训练模型的想法很强大，但在实际部署联邦学习时会带来许多在典型集中式机器学习中不存在的重大障碍。这些困难直接源于客户端运行环境的分布式且不受控的特性。在学习高级缓解技术之前，了解这些十分必要。

统计异质性（非独立同分布数据）

统计异质性是联邦学习面临的一个主要挑战，并且是一个被广泛研究的问题。在传统分布式训练中，数据通常会在工作节点间随机打乱并分发，以确保每个工作节点看到的数据点都是从总体分布中独立同分布（IID）抽取的。联邦学习从根本上打破了这一假设。

客户端数据是根据个人使用模式、人口统计学信息、地理位置和时间生成的。这导致本地数据集在网络中通常是**非独立同分布（Non-IID）**的。

非独立同分布数据分布的常见类型包括：

• 特征分布倾斜： 客户端的数据可能具有明显不同的底层特征分布（例如，不同国家的移动键盘用户有不同的词汇）。
• 标签分布倾斜： 客户端拥有的数据可能偏向特定标签（例如，一个用户主要拍摄狗，另一个主要拍摄猫）。
• 数量倾斜： 客户端拥有的数据量极度不同。
• 概念漂移： 特定客户端的底层数据生成过程可能随时间变化。

这种异质性对联邦平均（FedAvg）等标准算法构成了主要问题。当本地模型在统计偏斜的数据上训练时，它们的更新（$\nabla F_k(w)$）可能将全局模型拉向冲突的方向。每个客户端优化其本地目标$F_k(w)$，这可能与全局目标$F(w)$显著偏离。这种现象常被称为客户端漂移，可能导致：

• 全局模型收敛速度减慢甚至发散。
• 最终全局模型在真实底层数据分布上表现不佳，或在不同客户端上泛化能力差。
• 训练期间稳定性降低。

客户端A、B和C呈现高度偏斜的标签分布，与均衡的IID数据集中可能预期的情况相比差异很大。有效训练单个全局模型变得困难。

系统异质性

除了数据差异，客户端本身也表现出显著差异。系统异质性指的是以下方面的差异：

• 硬件： 客户端范围从高性能服务器（在跨组织联邦学习中）到资源受限的移动电话或物联网设备（在跨设备联邦学习中）。这包括CPU速度、可用内存以及GPU/TPU是否存在方面的差异。
• 网络连接： 网络条件差异很大。客户端可能连接高速Wi-Fi、不可靠的蜂窝网络，或偶尔离线。带宽和延迟差异很大。
• 电源可用性： 移动设备使用电池供电，限制了它们进行大量计算或通信的能力。
• 可用性： 客户端可能不可预测地加入或退出联邦，或在训练轮次期间变得不可用（滞后者）。

系统异质性带来了实际困难：

• 滞后者： 较慢的设备或网络连接不佳的客户端可能延迟同步联邦学习协议中的整个训练轮次，从而降低整体效率。
• 客户端掉线： 设备可能由于连接丢失或电池耗尽而在训练中途掉线，导致部分或丢失的更新。
• 资源限制： 模型和计算必须设计为在联邦中能力最弱的设备上运行，可能限制模型复杂度和性能。
• 偏差： 较快的客户端可能更频繁或更可靠地贡献，如果处理不当，可能使全局模型产生偏差。

规模

联邦网络可能包含为数众多的客户端，从跨组织设置中的少数几个组织到跨设备场景中可能数百万甚至数十亿设备。管理如此规模的训练带来了操作上的困难：

• 协调： 协调大量间歇性客户端的训练是复杂的。
• 通信瓶颈： 聚合来自数百万客户端的更新可能使中央服务器不堪重负。
• 容错性： 客户端故障的可能性随规模增大而显著增加。
• 可变性： 统计异质性和系统异质性的影响在规模上被放大。

隐私顾虑

尽管联邦学习旨在通过将原始数据保留在本地来提升隐私保护，但它并非本质上完全隐私。训练期间共享的模型更新（梯度或模型权重）可能泄露有关客户端本地数据的敏感信息。恶意行为者（中央服务器或其他客户端）可能尝试各种攻击，例如：

• 成员推断： 判断某个特定数据点是否属于客户端的训练集。
• 属性推断： 推断客户端数据的聚合属性。
• 数据重建： 在某些情况下，从更新中重建部分原始训练数据。

这些潜在的脆弱性使得使用明确的隐私增强技术成为必要，例如差分隐私（DP）、安全多方计算（SMC）和同态加密（HE），这些技术将在第3章中详细阐述。

通信效率

通信经常是联邦学习的主要瓶颈，尤其是在跨设备设置中。客户端设备的上传带宽通常有限，而下载带宽相对较大。在每个轮次中，从许多客户端向服务器传输大型模型更新（深度学习模型可能包含数百万个参数）既昂贵又耗时。

通信方面的困难包括：

• 带宽限制： 限制了模型更新的大小和频率。
• 延迟： 接收更新的延迟，在同步设置中尤为突出。
• 成本： 数据传输在按量计费的网络上可能产生费用。

这促使人们采取减少通信开销的技术，例如梯度压缩、稀疏化和模型量化，这些技术将在第5章中介绍。

这些相互关联的难题表明，仅仅应用标准分布式训练技术对于有效的联邦学习来说是不够的。它们使得开发和应用专门的算法和系统设计成为必要，这些算法和设计应针对联邦环境的独特限制和特点量身定制。接下来的章节将在此理解的基础上，介绍解决这些特定问题的高级方法。