联邦学习常需协调数百或数千台设备，每台设备都可能训练大型模型。在每次通信回合中，客户端与中心服务器之间发送完整的模型更新或梯度，会消耗大量带宽和时间，经常成为主要的性能瓶颈。从客户端到服务器的上行通信，在许多边缘设备上尤其受限。

本章侧重于减轻这种通信开销的技术。我们将研究减少传输数据大小的方法，例如：

• 梯度压缩： 包括量化（例如，用更少比特表示梯度，如 $g_{quantized} = Q(g)$）和稀疏化（只发送最重要的梯度值）等技术。
• 误差补偿： 旨在抵消压缩方法可能引入的精度损失的策略。
• 异步方法： 允许客户端和服务器无需严格同步即可运行的协议，在处理慢速或间歇性连接时可能提升系统吞吐量。

我们将分析与这些技术相关的权衡，考虑它们对通信成本、计算开销和模型收敛速度的影响。您还将学习如何在实践中应用其中一些方法。