在联邦学习的单轮中应用差分隐私机制（如添加噪声）为该特定交互提供了一个 ( ϵ , δ ) (\epsilon, \delta) ( ϵ , δ )
理解隐私损失累积
设想重复查询一个数据库（或者在我们的场景中，重复接收来自客户端数据的带噪声聚合更新）使用差分隐私机制。每次查询都会带来一些隐私损失。组合定理为一系列此类查询或机制后的总隐私损失设定了上限。
基本顺序组合
分析组合效果最简单的方法是基本顺序组合。它表明，如果您应用 k k k i i i ( ϵ i , δ i ) (\epsilon_i, \delta_i) ( ϵ i , δ i ) k k k ( ∑ i = 1 k ϵ i , ∑ i = 1 k δ i ) (\sum_{i=1}^k \epsilon_i, \sum_{i=1}^k \delta_i) ( ∑ i = 1 k ϵ i , ∑ i = 1 k δ i )
如果所有机制都相同，每次提供 ( ϵ , δ ) (\epsilon, \delta) ( ϵ , δ ) k k k ( k ϵ , k δ ) (k\epsilon, k\delta) ( k ϵ , k δ )
ϵ 总 ≤ k ϵ 轮 \epsilon_{总} \le k \epsilon_{轮} ϵ 总 ≤ k ϵ 轮 δ 总 ≤ k δ 轮 \delta_{总} \le k \delta_{轮} δ 总 ≤ k δ 轮 尽管简单且易于理解，这种线性累积通常会导致一个宽松的上限。在许多轮次（k k k k ϵ k\epsilon k ϵ ϵ 轮 \epsilon_{轮} ϵ 轮 ϵ 轮 \epsilon_{轮} ϵ 轮
高级组合
幸运的是，在高级组合的框架下存在更紧密的上限。这些定理运用了隐私损失并非以最坏情况线性累加的特点，尤其是在 ϵ \epsilon ϵ
高级组合中的一个标准结果（通过分析矩会计法或使用如雷尼差分隐私等技术得出）表明对于一个由 k k k ( ϵ , δ ) (\epsilon, \delta) ( ϵ , δ ) δ ′ ′ > 0 \delta'' > 0 δ ′′ > 0 ( ϵ ′ , δ ′ ) (\epsilon', \delta') ( ϵ ′ , δ ′ )
ϵ ′ ≈ 2 k ln ( 1 / δ ′ ′ ) ϵ + k ϵ ( e ϵ − 1 ) \epsilon' \approx \sqrt{2k \ln(1/\delta'')} \epsilon + k \epsilon (e^\epsilon - 1) ϵ ′ ≈ 2 k ln ( 1/ δ ′′ ) ϵ + k ϵ ( e ϵ − 1 ) δ ′ = k δ + δ ′ ′ \delta' = k\delta + \delta'' δ ′ = k δ + δ ′′ 我们来分析一下 ϵ ′ \epsilon' ϵ ′
对于小 ϵ \epsilon ϵ 2 k ln ( 1 / δ ′ ′ ) ϵ \sqrt{2k \ln(1/\delta'')} \epsilon 2 k ln ( 1/ δ ′′ ) ϵ k \sqrt{k} k ϵ ′ \epsilon' ϵ ′ k k k
第二项 k ϵ ( e ϵ − 1 ) k \epsilon (e^\epsilon - 1) k ϵ ( e ϵ − 1 ) ϵ \epsilon ϵ e ϵ − 1 ≈ ϵ e^\epsilon - 1 \approx \epsilon e ϵ − 1 ≈ ϵ k ϵ 2 k\epsilon^2 k ϵ 2
δ ′ ′ \delta'' δ ′′ δ \delta δ k δ k\delta k δ 1 / N 1/N 1/ N N N N
这意味着一个重要的结果：高级组合允许隐私损失以更有利的方式累积，尤其是在 ϵ \epsilon ϵ ϵ 总 \epsilon_{总} ϵ 总 ϵ 轮 \epsilon_{轮} ϵ 轮
比较在 k k k ϵ \epsilon ϵ ϵ 轮 = 0.1 \epsilon_{轮}=0.1 ϵ 轮 = 0.1 δ 轮 = 10 − 5 \delta_{轮}=10^{-5} δ 轮 = 1 0 − 5 δ ′ ′ = 10 − 6 \delta''=10^{-6} δ ′′ = 1 0 − 6 k k k
现代隐私核算方法，通常基于雷尼差分隐私（RDP），提供了在组合下精确追踪隐私损失的框架。RDP 使用不同的函数（RDP 曲线）来衡量隐私损失，其组合方式非常自然。像 Google 的 dp-accounting 这样的库实现了这些技术，使开发人员能够准确计算在多轮中运行的复杂算法（如 DP-FedAvg）的 ( ϵ , δ ) (\epsilon, \delta) ( ϵ , δ )
隐私预算的管理
整个联邦学习过程中可接受的总隐私损失被称为隐私预算 ，通常表示为 ( ϵ 总 , δ 总 ) (\epsilon_{总}, \delta_{总}) ( ϵ 总 , δ 总 ) ϵ 总 \epsilon_{总} ϵ 总 δ 总 \delta_{总} δ 总 ϵ 总 \epsilon_{总} ϵ 总 δ 总 \delta_{总} δ 总 1 / N 客户端 1/N_{客户端} 1/ N 客户端 N 客户端 N_{客户端} N 客户端
一旦为例如 T T T ( ϵ 总 , δ 总 ) (\epsilon_{总}, \delta_{总}) ( ϵ 总 , δ 总 ) 预算分配 ：即根据组合定理，决定每轮允许多少隐私损失 ( ϵ 轮 , δ 轮 ) (\epsilon_{轮}, \delta_{轮}) ( ϵ 轮 , δ 轮 )
存在几种策略：
均匀分配： 最简单的方法是大致将预算平均分配到各轮。利用高级组合的直觉（ϵ ∝ k \epsilon \propto \sqrt{k} ϵ ∝ k ϵ 轮 ≈ ϵ 总 / T \epsilon_{轮} \approx \epsilon_{总} / \sqrt{T} ϵ 轮 ≈ ϵ 总 / T δ 轮 = δ 总 / T \delta_{轮} = \delta_{总} / T δ 轮 = δ 总 / T T T T 非均匀分配： 在模型更新量较大且可能对收敛更有用的初始轮次，花更多预算（允许更大的 ϵ 轮 \epsilon_{轮} ϵ 轮 ϵ 轮 \epsilon_{轮} ϵ 轮 自适应分配： 每轮预算可以根据训练进度、收敛速度或其他运行时因素动态调整。这更为复杂，但可能更有效地优化隐私-效用权衡。
实际考量
核算工具： 手动应用组合定理可能复杂且容易出错，特别是在涉及 RDP 等高级技术时。强烈建议使用专门的隐私核算库。这些库会接收每轮使用的差分隐私机制参数（例如，差分隐私随机梯度下降/差分隐私联邦平均中的噪声乘数 σ \sigma σ C C C q q q ( ϵ , δ ) (\epsilon, \delta) ( ϵ , δ ) 参数调优： 添加的噪声（例如，相对于裁剪范数 C C C σ \sigma σ ϵ 轮 \epsilon_{轮} ϵ 轮 ϵ 轮 \epsilon_{轮} ϵ 轮 ϵ 轮 \epsilon_{轮} ϵ 轮 ( ϵ 总 , δ 总 ) (\epsilon_{总}, \delta_{总}) ( ϵ 总 , δ 总 ) σ \sigma σ C C C T T T 预算耗尽： 一旦预设的隐私预算在 T T T
了解并正确应用组合定理对于构建在整个训练期间具有有意义、可量化隐私保证的联邦学习系统具有根本意义。高级组合和专门的核算工具对于在多轮联邦过程中实现实用的隐私-效用权衡是必不可少的。
