评估联邦学习系统不应只看模型准确度。考虑到之前提到的特有难题，比如统计和系统上的多样性、通信限制以及隐私要求，一个全面的评估体系必须考量多个方面。衡量成功不仅要评估最终模型表现得有多好，还要评估其训练得有多高效、有多公平，以及抵御潜在威胁的能力有多强。
核心性能指标
最根本的一点是所学全局模型的质量。标准机器学习指标在此适用，但其解释需结合具体情况。
- 模型准确度和损失： 常用指标包括分类准确度、F1分数、AUC（ROC曲线下面积）、均方误差（用于回归）或困惑度（用于语言模型）。这些指标通常在集中式的、保留的测试数据集上评估，该数据集代表了模型的目标整体数据分布。然而，在联邦学习中，尤其是在跨机构设置下，获取这样有代表性的数据集可能很困难。在本地客户端测试数据的并集上（如果可用）评估全局模型也能提供参考，但如果客户端数据分布差异很大，则可能存在偏差。
- 收敛速度： 全局模型达到预期性能水平的速度有多快？这通常以所需的通信轮次来衡量。更快的收敛意味着更少的等待时间，并可能降低通信成本。实际运行时长是另一种衡量方式，但它受系统多样性（滞后者）和计算时间影响很大，因此在模拟中，轮次是比较算法的更常用指标。分析收敛曲线（准确度/损失 vs. 轮次）有助于了解训练过程的动态。
不同聚合算法收敛速度的比较。高级方法通常旨在实现更快的收敛或更高的最终准确度，尤其是在异构情况下。
效率指标
由于联邦学习的分布式特性和资源限制，效率十分重要。
- 通信成本： 这通常是主要瓶颈。重要指标包括：
- 传输的总数据量（上行：客户端到服务器，下行：服务器到客户端）。上行通常受限更多。以比特或字节衡量。
- 通信轮次（已在收敛性部分提及，但本质上是效率指标）。
后续章节讨论的技术（例如，梯度压缩）直接致力于降低这些成本。
- 计算成本：
- 客户端计算：本地训练轮次所需时间，以秒或FLOPS（每秒浮点运算次数）衡量。对设备的电池寿命和用户体验很重要。
- 服务器端计算：聚合和模型更新所需时间。通常不如客户端计算或通信那样关键，但如果聚合规则非常复杂或客户端数量巨大，则会变得很可观。
- 资源利用率： 客户端设备存储模型和执行计算所需的内存占用（RAM）。能耗，尤其与参与跨设备联邦学习的移动或物联网设备相关。
公平性考量
一个单一的全局模型可能无法对所有客户端都表现得同样好，尤其是在非独立同分布数据的情况下。评估公平性对于负责任的部署非常重要。
- 性能差异： 衡量模型性能（例如，准确度、损失）在单个客户端或预定义组之间的分布情况。指标包括客户端群体中准确度的最小值、最大值、方差或标准差。高方差表明潜在的公平性问题，即模型对某些客户端的益处远超其他客户端。
- 贡献公平性： 评估系统是否根据客户端的贡献（例如，数据大小、质量）对其进行比例对待。这是一个涉及博弈论和机制设计更复杂的方面，但了解潜在的搭便车者或不均等负担很重要。
隐私评估
评估隐私是出了名的困难，但在采用隐私增强技术时却很必要。
- 形式化保障： 对于差分隐私（DP）等方法，评估通常涉及跟踪训练过程中消耗的理论隐私预算（ϵ, δ）。值越低意味着理论隐私保障越强。
"* 经验鲁棒性： 评估系统在特定威胁模型下对特定隐私攻击（例如，成员推断、属性推断、模型反演）的抵御能力。这通常涉及模拟攻击并衡量其成功率。尽管对研究有用，但将这些经验结果转化为保障是复杂的。"
可伸缩性评估
随着参与客户端数量（N）的增加，系统表现如何？评估应考虑：
- 对收敛速度和最终模型准确度的影响。
- 通信开销的增加（例如，连接管理、潜在冲突）。
- 聚合过程中中央服务器的负载。
- 对客户端掉线的韧性，这在规模扩大时更为常见。
方法论与权衡
"评估通常严重依赖于使用TensorFlow Federated (TFF)、PySyft或Flower等框架进行的模拟。模拟允许进行受控实验、可复现性以及在各种条件下（例如，不同程度的非独立同分布数据、模拟滞后者）测试算法。构建能捕捉部署复杂性的真实模拟环境是一个持续的研究方向。在实际部署中进行评估要困难得多，因为缺乏控制、记录困难以及客户端参与的动态性。"
最终，评估联邦学习系统涉及在各种权衡中找到平衡。通过差分隐私改进隐私通常会略微降低模型准确度。增加本地计算可以减少通信轮次，但会增加客户端工作量。实现高准确度可能与确保所有客户端的公平性相冲突。一次全面的评估会清晰地展现这些权衡，通常使用多目标可视化，以指导设计决策并为特定应用选择合适的联邦学习技术。在实施接下来讨论的高级聚合、隐私和优化策略之前，理解这些评估维度是根本。
