模拟与部署

"将联邦学习理念从受控模拟环境转移到实际运行系统会带来很多工程方面的复杂性。虽然模拟对于算法开发、原型构建和初步验证来说非常重要，但它们经常基于实际不成立的理想化设想。认识到这些差异对于设计出既实用又稳定的联邦学习系统是十分重要的。"

模拟的作用与不足

模拟提供了一个受限环境，可以快速迭代联邦学习算法，调整学习率或聚合权重等超参数，并评估特定条件下的性能。TensorFlow Federated (TFF)、PySyft 和 Flower 等框架提供了强大的工具来模拟联邦学习过程，通常使用标准数据集进行划分，以模拟非独立同分布 (non-IID) 情况。

模拟环境中常见的特点包括：

1. 受控环境： 网络延迟和带宽通常稳定，或遵循可预测的统计模型。客户端设备在计算能力和可用性方面通常假定是同质的。 "2. 简化的客户端行为： 客户端通常假定在训练轮次中持续可用。设备掉线、更新延迟（掉队者）或不同参与水平等问题可能会被建模，但与实际的不可预测性相比，通常是简化的。" "3. 数据抽象： 尽管模拟旨在模拟统计异质性（非独立同分布数据），但所使用的数据集（例如 FEMNIST、Shakespeare、CIFAR-10 的合成划分）代表了一种受控形式的异质性。实际的数据分布可能更加偏斜、不平衡，并受时间漂移的影响。"
2. 系统细节的抽象： 操作系统差异、特定硬件限制（CPU/GPU/TPU、内存限制）、设备上的后台进程和电池限制经常在模拟中被抽象化处理。

"模拟擅长在受控条件下比较算法。例如，您可能会在模拟的非独立同分布数据集上比较 FedAvg 和 FedProx 的收敛速度。然而，此类模拟的结果提供了预期性能的上限。"

部署中的挑战

部署联邦学习系统会显现出模拟中经常简化或完全忽略的挑战。

系统异质性

设备在以下方面表现出显著差异：

• 计算能力： 智能手机、不同组织（跨孤岛）中的服务器或物联网设备的处理能力（CPU、RAM、NPU 等专用硬件）显著不同。这导致本地训练时间出现显著差异。
• 网络连接： 客户端在不同网络（WiFi、蜂窝 3G/4G/5G）上运行，其带宽、延迟和连接性波动不定。这影响模型更新的及时传输。
• 操作系统与软件： 不同的操作系统版本、后台应用程序和软件环境会影响客户端执行和资源可用性。
• 电池限制： 特别是移动设备，在严格的功耗限制下运行，这限制了长时间或计算密集型本地训练的可行性。

这种异质性使得同步聚合变得困难，经常需要异步方法或精密的客户端选择和掉队者处理机制。FedNova 等算法明确地尝试考虑变量本地计算，但实际部署仍然需要仔细的系统设计。

网络不可靠性与成本

"与模拟中通常稳定的连接不同，网络容易出现丢包、高抖动和完全断开连接。客户端设备可能会在不同网络类型之间移动或意外下线。此外，尤其是在通过蜂窝网络的跨设备环境中，通信成本（带宽使用）是一个重要的实际限制，这进一步突出了对通信效率技术（第 5 章）的需求，例如压缩和稀疏化。"

数据复杂性与动态性

数据在模拟的非独立同分布划分方面带来了一些挑战：

• 极端偏斜： 客户端之间的数据分布可能高度非独立同分布，有些客户端的数据点非常少，或者数据仅来自一小部分类别。
• 时间漂移： 客户端设备上的底层数据分布会随时间变化（概念漂移），要求全局模型持续适应。
• 特征偏斜： 客户端可能拥有不同的特征集或数据表示。
• 标签偏斜： 目标标签的分布在客户端之间可能变化巨大。
• 隐私法规： 实际数据受到严格隐私法律（例如 GDPR、CCPA）的约束，这影响数据处理、同意管理以及隐私保护技术（第 3 章）的实际部署。审计和合规性变得非常必要。

客户端可用性与规模

在模拟中，客户端通常假定为随时可用。实际上，特别是在跨设备联邦学习中：

• 可用性： 客户端（例如智能手机）仅偶尔可用（例如充电时、空闲时以及连接到不计量流量的网络时）。
• 掉线： 客户端可能由于网络问题、电池耗尽或用户活动而在训练轮次中途掉线。
• 规模： 实际系统可能涉及数千或数百万潜在客户端，远超典型的模拟规模。在这种规模下管理客户端选择、调度和聚合需要强大的基础设施。

下图展示了从模拟到全面部署的复杂性递增层次。

从受控模拟环境到试运行和全面部署的转变，带来了日益复杂的挑战，涉及设备异质性、网络状况、数据动态性、规模和安全性。

安全与信任

模拟可能会包含威胁模型（第 1 章）或拜占庭鲁棒算法（第 2 章），但实际部署面临具体的安全风险：

• 恶意客户端： 受损设备可能尝试污染模型、推断其他设备的数据或扰乱训练过程。
• 服务器受损： 中心服务器本身可能成为攻击目标。
• 窃听： 通信信道需要强加密。
• 认证： 验证客户端身份非常必要。

在分布式环境中实施诸如安全聚合（第 3 章）、客户端/服务器认证、入侵检测和安全软件更新机制并非易事。

弥合模拟与现实的差距

成功部署联邦学习需要认识并解决这些差异：

1. 改进模拟： 纳入更真实的网络状况（延迟、带宽波动、丢包）、设备能力（计算时间变化）、客户端可用性模式（掉线率）和数据分布模型。框架通常提供模拟其中一些方面的工具。
2. 试运行项目： 在全面推广之前，使用有代表性的设备和网络条件进行小规模试运行部署。这有助于发现意外的系统交互和性能瓶颈。
3. 系统设计： 采用异步协议，设计容错聚合，实施考虑设备状态的有效客户端选择策略，并构建全面的监控和日志记录。
4. 自适应算法： 使用旨在处理异质性的算法（例如 FedProx、SCAFFOLD、FedNova），如果单一全局模型不足，考虑个性化技术（第 4 章）。 "5. 迭代部署： 使用分阶段发布、金丝雀发布和 A/B 测试，以逐步引入联邦学习系统并监控其对模型性能和系统稳定性的影响。"

"下图对比了典型模拟与部署之间的主要方面："

"> 对典型联邦学习模拟与部署中主要系统方面的复杂性和可变性进行示意性对比。实际情况通常在所有维度上表现出显著更高的水平。"

"总之，虽然模拟是进行初步研究和开发的重要工具，但这仅仅是第一步。构建可用于生产的联邦学习系统需要对限制有深刻的认识，并需要大量的工程投入，侧重于鲁棒性、可扩展性、安全性和适应性，以弥合理论模型与实际应用之间的差距。本章的后续部分将介绍有助于应对这些部署挑战的框架和架构选择。"