联邦学习中差分隐私、安全多方计算与同态加密的比较

差分隐私（DP）、安全多方计算（SMC）和同态加密（HE）是联邦学习中提升隐私保护的不同方法，每种方法都有一系列独特的优缺点。选择合适的技术或技术组合，在很大程度上取决于具体的隐私保护需求、威胁模型假设、可接受的性能开销以及联邦系统本身的特性。

接下来，我们并列审视这些技术在联邦学习场景下的表现：

差分隐私（DP）

• 机制： 差分隐私通过向数据或计算中注入经过数学校准的噪声来提供隐私保护。在联邦学习中，这通常包括在传输前在客户端本地（本地DP）或在聚合前在服务器端（中心化DP）向客户端模型更新（梯度或权重）添加噪声。隐私保护能力由预算（$\epsilon, \delta$）量化，其中值越低表示隐私保护能力越强。
• 隐私保障： 通过使计算输出（例如，聚合更新）在统计上无法区分是否包含任何单个客户端数据，从而提供针对推断攻击的保护。中心化DP假设聚合服务器是可信的，保护客户端数据不被最终聚合模型获知。本地DP甚至能保护客户端数据免受服务器的影响。
• 计算成本： 通常低于密码学方法。噪声生成和梯度裁剪会增加一些开销，但通常是可控的，特别是对于中心化DP。本地DP要求在每个客户端上添加噪声，略微增加了客户端的计算量。
• 通信成本： 增加量极小。更新消息的大小基本保持不变，尽管可能需要与裁剪或噪声量级相关的元数据。
• 效用影响： 主要缺点。噪声注入本身会引入不准确性，可能减缓收敛速度或降低最终模型的准确性。在更严格的隐私保障（$\epsilon$ 值更低）下，以及与中心化DP相比，本地DP的影响更为明显。在多个通信轮次中管理隐私预算也是一个重要考量，因为隐私损失会累积。
• 实现复杂度： 中等。需要仔细实现噪声生成、梯度裁剪和隐私预算核算（特别是管理多轮次的组合）。目前已存在许多库和研究实现。
• 假设： 中心化DP通常假设有一个可信的聚合器，能够忠实地添加噪声并执行聚合。本地DP则转移信任，要求客户端在本地正确应用噪声。两者都依赖于基于敏感性分析的正确噪声校准。

安全多方计算（SMC）

• 机制： 使用密码学协议，使得多方（客户端和可能的服务器）能够共同计算一个函数（例如，更新的总和），而不泄露各自的输入。安全聚合协议通常依赖于秘密共享等技术。
• 隐私保障： 提供强大的保障，特别是对于聚合过程。通过典型的安全聚合协议，服务器能获知更新的总和（$\sum u_i$），但不会获知任何单个客户端更新 $u_i$，前提是足够数量的客户端行为诚实（例如，不与服务器勾结）。
• 计算成本： 可能很高，特别是对于客户端。协议涉及密码学操作，例如生成共享密钥、创建掩码和验证步骤。服务器在管理协议和重构最终总和方面也会产生开销。
• 通信成本： 通常很高。SMC协议常需要客户端之间或客户端与服务器之间的多轮通信。由于密码学开销（份额、承诺等），交换的消息也可能比原始模型更新大。
• 效用影响： 理想情况下没有，或可忽略不计。与DP不同，SMC不会刻意向聚合结果中引入噪声。最终聚合的更新应与非隐私求和结果一致，从而保持模型准确性。然而，在多轮协议期间客户端掉线可能导致问题。
• 实现复杂度： 高。正确、安全地实现密码学协议具有挑战性。需要仔细处理安全随机数生成、通信信道和潜在的故障模式（如客户端掉线）。将这些协议集成到联邦学习框架中需要专业知识。
• 假设： 严重依赖于密码学假设（例如，某些数学问题的计算难度）和协议假设（例如，各方之间串通的限制）。协议内部需要专门处理以应对客户端掉线。

同态加密（HE）

• 机制： 允许直接在加密数据上执行计算（特别是，在基本聚合的场景中指加法）。客户端加密其更新（$\text{Enc}(u_i)$），服务器对密文求和（$\sum \text{Enc}(u_i) = \text{Enc}(\sum u_i)$），然后可以解密结果（通常需要分布式密钥或可信实体）。
• 隐私保障： 非常强大。服务器仅在加密数据上操作，从不查看明文客户端更新。直接保护客户端更新免受服务器影响。
• 计算成本： 极高。同态加密操作（加密、解密、同态加法）是计算密集型的，特别是对于执行加密并可能参与分布式解密的客户端。服务器端对密文的计算也远比明文加法要求高。
• 通信成本： 高。密文明显大于原始明文更新，增加了从客户端到服务器的数据传输量。
• 效用影响： 理想情况下，隐私机制本身不会产生影响。与SMC类似，HE旨在计算精确和而不添加噪声。然而，实际的HE方案可能使用近似值或在数值精度上存在限制，这可能会对结果产生轻微影响。参数选择对于正确性和安全性很重要。
• 实现复杂度： 高。需要专门的密码学库。选择合适的HE方案（例如，BFV、CKKS、Paillier）和参数（平衡安全性、计算成本和密文中的噪声预算）需要丰富的密码学知识。密钥管理也是一个重大挑战。
• 假设： 依赖于所选HE方案背后的计算难题假设。安全的密钥管理是必不可少的；密钥受损将抵消所有隐私优势。

对比总结

在差分隐私、安全多方计算和同态加密之间进行选择，需权衡一系列复杂因素。

基于相对于标准联邦平均的典型开销，对隐私技术进行比较。实际成本在很大程度上取决于具体的算法、参数和系统规模。

选择考量：

1. 所需隐私级别与威胁模型： 需要哪些具体的隐私保障（$\epsilon, \delta$-差分隐私、防范服务器、防范串通客户端的保护）？服务器是可信的、诚实但好奇的，还是潜在的恶意方？客户端是否可能是恶意方？
2. 性能预算： 客户端计算是否存在限制？网络带宽如何？服务器端可行的计算量是多少？同态加密常因计算量大而难以实施，而安全多方计算可能受限于通信。差分隐私通常提供最低的开销，但会影响效用。
3. 效用容忍度： 模型准确性（由于差分隐私噪声引起）下降多少是可接受的？如果高准确性很重要，尽管安全多方计算或同态加密开销较大，但它们可能更受青睐。
4. 系统复杂度： 开发团队是否具备实现和管理复杂密码学协议（安全多方计算、同态加密）或高级差分隐私机制（隐私核算）的专业知识？
5. 混合方法： 通常，结合多种技术能提供更好的平衡。例如，在客户端更新上使用本地DP，并结合安全多方计算进行安全聚合，可以提供分层保护。另一种方法可能使用安全多方计算/同态加密进行聚合，并在模型分发前对最终聚合结果应用中心化DP。

实践中，中心化差分隐私（如DP-FedAvg）因其相对简单且相较于密码学方法开销更低，而被频繁使用，同时接受效用上的权衡以及噪声添加时对服务器的信任假设。基于安全多方计算的安全聚合在服务器隐私是主要考虑且通信开销可控的场景中受到关注。同态加密由于其高计算要求，在典型的联邦学习场景中仍难以普遍部署，但它是一个活跃的研究方向，特别是对于特定用途或拥有更强大参与者的跨机构场景。你的选择将取决于仔细权衡这些因素与你具体联邦学习应用的目标和限制。