ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

高级贝叶斯机器学习
章节 1: 重审贝叶斯根本
概率建模原理
贝叶斯定理在高维空间中
先验选择中的主观性与客观性
信息论与贝叶斯推断的关联:熵与KL散度
贝叶斯推断中的计算难题
高级模型检查与评估
章节 2: 马尔可夫链蒙特卡洛方法
蒙特卡罗积分的原理
马尔可夫链理论之于MCMC
Metropolis-Hastings 算法变体
基于条件结构的吉布斯采样
哈密顿蒙特卡洛(HMC)机制
无U形转弯采样器 (NUTS)
诊断MCMC收敛性和性能
动手实践:实现高级MCMC
章节 3: 变分推断方法
优化即推断:变分推断的观点
推导证据下界 (ELBO)
平均场近似具体内容
坐标上升变分推断 (CAVI)
随机变分推断 (SVI) 针对大规模数据
黑箱变分推断 (BBVI)
进阶变分族
MCMC与VI优势比较
动手实践:可扩展变分推断
章节 4: 高斯过程
贝叶斯非参数建模介绍
定义高斯过程:函数的先验分布
协方差函数(核):性质与选择
高斯过程回归公式
超参数边际似然优化
高斯过程分类方法
高斯过程的可扩展近似方法
动手实践:高斯过程建模
章节 5: 概率图模型进阶内容
贝叶斯网络:结构学习
贝叶斯网络中的参数学习
概率图模型中的高级推断:联结树算法
大型概率图模型中的近似推断
隐狄利克雷分配 (LDA):贝叶斯表述
LDA 的推断:折叠吉布斯采样
LDA的推断:变分贝叶斯
动手实践:使用LDA进行主题建模
章节 6: 贝叶斯深度学习
贝叶斯深度学习的缘由
贝叶斯神经网络(BNNs):权重的先验分布
贝叶斯神经网络的推断挑战
用于贝叶斯神经网络的MCMC方法(例如,随机梯度哈密顿蒙特卡洛)
BNN的变分推断(例如:反向传播贝叶斯)
BNN中的不确定性估计
变分自编码器 (VAEs) 作为概率模型
将 Dropout 视为近似贝叶斯推断
BNN的实际训练与评估
动手实践:构建贝叶斯神经网络

随机变分推断 (SVI) 针对大规模数据

坐标上升变分推断 (CAVI) 是一种用于优化概率模型中证据下界 (ELBO) 的技术。然而,CAVI 的一个局限性是它需要遍历整个数据集来更新每个模型参数 (parameter)。对于现代数据集,它们可能包含数百万甚至数十亿个数据点,这种全数据集遍历会成为一个重要的计算瓶颈。想象一下,仅仅为了对模型参数进行一次调整,就需要处理数TB的数据;这个过程将极其缓慢。

随机变分推断 (SVI) 解决了这一可伸缩性难题,通过借鉴随机优化中的思想,特别是随机梯度下降 (gradient descent) (SGD)。SVI 不使用完整数据集计算 ELBO 的真实梯度,而是使用噪声较大但计算成本较低的梯度,这些梯度是从小而随机选择的数据子集(通常称为小批量)中估计出来的。

从批量梯度到随机梯度

召回 ELBO: L(q)=Eq(z)[log⁡p(x,z)]−Eq(z)[log⁡q(z)]\mathcal{L}(q) = \mathbb{E}_{q(\mathbf{z})} [\log p(\mathbf{x}, \mathbf{z})] - \mathbb{E}_{q(\mathbf{z})} [\log q(\mathbf{z})]L(q)=Eq(z)​[logp(x,z)]−Eq(z)​[logq(z)] 假设给定隐变量 z\mathbf{z}z 时,数据点 x={x1,...,xN}\mathbf{x} = \{\mathbf{x}_1, ..., \mathbf{x}_N\}x={x1​,...,xN​} 是条件独立的,联合概率通常可以分解为:log⁡p(x,z)=log⁡p(z)+∑n=1Nlog⁡p(xn∣zn)\log p(\mathbf{x}, \mathbf{z}) = \log p(\mathbf{z}) + \sum_{n=1}^N \log p(\mathbf{x}_n | \mathbf{z}_n)logp(x,z)=logp(z)+∑n=1N​logp(xn​∣zn​)。让我们简化并考虑模型中 z\mathbf{z}z 包含在所有数据点之间共享的全局参数 (parameter) β\betaβ,以及每个数据点 xn\mathbf{x}_nxn​ 特有的局部隐变量 zn\mathbf{z}_nzn​。变分分布 qqq 也相应地因子化,通常是 q(β,z1:N)=q(β;λ)∏n=1Nq(zn;ϕn)q(\beta, \mathbf{z}_{1:N}) = q(\beta; \lambda) \prod_{n=1}^N q(\mathbf{z}_n; \phi_n)q(β,z1:N​)=q(β;λ)∏n=1N​q(zn​;ϕn​),其中 λ\lambdaλ 和 ϕn\phi_nϕn​ 分别是全局变量和局部变量的变分参数。

ELBO 就可以写成包含对数据点求和的形式: L(λ,ϕ1:N)=Eq[log⁡p(β)]+∑n=1NEq[log⁡p(xn∣zn,β)]−Eq[log⁡q(β;λ)]−∑n=1NEq[log⁡q(zn;ϕn)]\mathcal{L}(\lambda, \phi_{1:N}) = \mathbb{E}_q [\log p(\beta)] + \sum_{n=1}^N \mathbb{E}_q [\log p(\mathbf{x}_n | \mathbf{z}_n, \beta)] - \mathbb{E}_q [\log q(\beta; \lambda)] - \sum_{n=1}^N \mathbb{E}_q [\log q(\mathbf{z}_n; \phi_n)]L(λ,ϕ1:N​)=Eq​[logp(β)]+∑n=1N​Eq​[logp(xn​∣zn​,β)]−Eq​[logq(β;λ)]−∑n=1N​Eq​[logq(zn​;ϕn​)] CAVI 需要优化这个完整的优化目标。然而,SVI 侧重于全局参数 λ\lambdaλ。为了更新 λ\lambdaλ,我们需要梯度 ∇λL\nabla_{\lambda} \mathcal{L}∇λ​L。注意,求和项 ∑n=1NEq[log⁡p(xn∣zn,β)]\sum_{n=1}^N \mathbb{E}_q [\log p(\mathbf{x}_n | \mathbf{z}_n, \beta)]∑n=1N​Eq​[logp(xn​∣zn​,β)] 使得在不接触所有数据的情况下难以进行计算。

SVI 的核心思想是仅使用小批量数据来近似完整梯度。如果我们均匀随机抽取一个数据点 xn\mathbf{x}_nxn​,我们就可以构建一个与求和项相关的梯度的无偏随机估计。通过从 {1,...,N}\{1, ..., N\}{1,...,N} 中抽取一个索引的小批量 MMM,我们可以形成一个有噪声的梯度估计: ∇λL^M≈∇λEq[log⁡p(β)]+N∣M∣∑n∈M∇λEq[log⁡p(xn∣zn,β)]−∇λEq[log⁡q(β;λ)]\nabla_{\lambda} \hat{\mathcal{L}}_M \approx \nabla_{\lambda} \mathbb{E}_q [\log p(\beta)] + \frac{N}{|M|} \sum_{n \in M} \nabla_{\lambda} \mathbb{E}_q [\log p(\mathbf{x}_n | \mathbf{z}_n, \beta)] - \nabla_{\lambda} \mathbb{E}_q [\log q(\beta; \lambda)]∇λ​L^M​≈∇λ​Eq​[logp(β)]+∣M∣N​∑n∈M​∇λ​Eq​[logp(xn​∣zn​,β)]−∇λ​Eq​[logq(β;λ)] 缩放因子 N/∣M∣N/|M|N/∣M∣ 修正了以下事实:我们是对一个较小的集合 MMM 而非完整数据集 NNN 进行求和,确保随机梯度仍然是真实梯度的无偏估计(考虑到涉及 qqq 上的期望的依赖关系)。

SVI 更新算法

SVI 迭代进行,使用这些随机梯度更新全局和局部变分参数 (parameter)。在每个步骤 ttt:

  1. 采样小批量: 从完整数据集中随机选择一个数据点的小子集(小批量)MtM_tMt​。
  2. 更新局部参数: 对于小批量 MtM_tMt​ 中的每个数据点 xn\mathbf{x}_nxn​,更新其对应的局部变分参数 ϕn\phi_nϕn​ 以优化其对 ELBO 的贡献,同时保持当前全局参数 λ(t)\lambda^{(t)}λ(t) 不变。这可能涉及一次或多次针对该数据点的类似 CAVI 的更新。 ϕn(t+1)←arg⁡max⁡ϕnEq[log⁡p(xn∣zn,β)]−Eq[log⁡q(zn;ϕn)]\phi_n^{(t+1)} \leftarrow \arg \max_{\phi_n} \mathbb{E}_q [\log p(\mathbf{x}_n | \mathbf{z}_n, \beta)] - \mathbb{E}_q [\log q(\mathbf{z}_n; \phi_n)]ϕn(t+1)​←argmaxϕn​​Eq​[logp(xn​∣zn​,β)]−Eq​[logq(zn​;ϕn​)] (其中期望是在 λ(t)\lambda^{(t)}λ(t) 和其他 ϕm≠n\phi_{m \neq n}ϕm=n​ 保持不变的情况下计算的)。
  3. 计算随机梯度: 使用 n∈Mtn \in M_tn∈Mt​ 的更新后的局部参数 ϕn(t+1)\phi_n^{(t+1)}ϕn(t+1)​,计算 ELBO 相对于全局参数 λ\lambdaλ 的有噪声梯度 ∇λL^Mt\nabla_{\lambda} \hat{\mathcal{L}}_{M_t}∇λ​L^Mt​​。
  4. 更新全局参数: 使用学习率 ρt\rho_tρt​ 进行梯度上升步骤,更新全局变分参数 λ\lambdaλ: λ(t+1)←λ(t)+ρt∇λL^Mt\lambda^{(t+1)} \leftarrow \lambda^{(t)} + \rho_t \nabla_{\lambda} \hat{\mathcal{L}}_{M_t}λ(t+1)←λ(t)+ρt​∇λ​L^Mt​​

这个过程重复进行,循环遍历数据小批量。学习率 ρt\rho_tρt​ 通常会随着迭代次数的增加而减小,以确保收敛。

SVI 更新步骤的视图。从大型数据集中采样一个小批量。这个小批量,连同当前的全局参数 λ\lambdaλ,用于计算有噪声的梯度,然后该梯度更新 λ\lambdaλ。

学习率与收敛

学习率调度 ρt\rho_tρt​ 的选择对 SVI 的表现很重要。为了使随机更新能够正确收敛,学习率必须满足 Robbins-Monro 条件: ∑t=1∞ρt=∞且∑t=1∞ρt2<∞\sum_{t=1}^{\infty} \rho_t = \infty \quad \text{且} \quad \sum_{t=1}^{\infty} \rho_t^2 < \infty∑t=1∞​ρt​=∞且∑t=1∞​ρt2​<∞ 常见的选择是多项式衰减调度: ρt=(τ0+t)−κ\rho_t = (\tau_0 + t)^{-\kappa}ρt​=(τ0​+t)−κ 其中 κ∈(0.5,1]\kappa \in (0.5, 1]κ∈(0.5,1] 控制衰减率,且 τ0≥0\tau_0 \geq 0τ0​≥0 会降低早期迭代的权重 (weight)。调整 κ\kappaκ 和 τ0\tau_0τ0​ 以及小批量大小 ∣M∣|M|∣M∣ 通常需要实验。过大的学习率可能导致不稳定,而过小的学习率可能导致收敛缓慢。

自然梯度以实现更快收敛

标准梯度上升在参数 (parameter)空间的欧几里得几何中,沿着最陡峭的上升方向更新参数 λ\lambdaλ。然而,变分参数通常定义概率分布,欧几里得几何可能不是最合适的。分布空间有其自身的几何结构,由费雪信息矩阵 F(λ)F(\lambda)F(λ) 描述。

自然梯度通过将标准梯度乘以费雪信息矩阵的逆矩阵来修改更新方向: ∇~λL=F(λ)−1∇λL\tilde{\nabla}_{\lambda} \mathcal{L} = F(\lambda)^{-1} \nabla_{\lambda} \mathcal{L}∇~λ​L=F(λ)−1∇λ​L SVI 更新规则变为: λ(t+1)←λ(t)+ρt∇~λL^Mt\lambda^{(t+1)} \leftarrow \lambda^{(t)} + \rho_t \tilde{\nabla}_{\lambda} \hat{\mathcal{L}}_{M_t}λ(t+1)←λ(t)+ρt​∇~λ​L^Mt​​ 对于属于指数族(一个常见选择)的变分分布,计算自然梯度有时比标准梯度更简单,并且通常会使收敛速度大幅加快,因为它考虑了变分参数空间的信息几何。

SVI 的优点与考量

优点:

  • 可伸缩性: SVI 的主要优点是其处理不适合内存的庞大数据集的能力,因为它在每一步只处理小型小批量数据。
  • 速度: 与批量 VI (CAVI) 或 MCMC 方法相比,它在实际运行时长方面通常收敛速度快得多,尤其是在优化过程的早期阶段。
  • 在线学习: SVI 可以自然地整合新到达的数据点,而无需在整个数据集上重新训练。

考量:

  • 调优: 需要仔细调整学习率调度和小批量大小。
  • 噪声梯度: 梯度的随机性质引入了噪声,这与批量方法相比,在后期阶段可能会减慢收敛速度或导致在最优值附近出现振荡。
  • 近似质量: 像所有 VI 方法一样,SVI 在所选变分族内找到一个近似值,这可能无法完美地捕捉真实的后验分布。质量取决于族 qqq 的灵活性。

SVI 为将贝叶斯推断应用于大规模问题提供了一个强大的工具,在这些问题中,传统方法在计算上变得不可行。它构成了许多现代概率建模应用的核心,特别是在主题建模(例如,在大规模文本语料库上的潜在狄利克雷分配)等方面,并且是贝叶斯深度学习 (deep learning)中所用技术的前身。尽管 MCMC 方法可能提供渐近精确的样本,并且 CAVI 提供确定性更新,SVI 实现了实用平衡,通过发挥随机优化的能力,实现了大规模的近似贝叶斯推断。

  • Stochastic Variational Inference, Matthew D. Hoffman, David M. Blei, Chong Wang, and John Paisley, 2013 Journal of Machine Learning Research, Vol. 14 DOI: 10.5555/2503259.2503307 - 介绍随机变分推断(SVI)方法,提供其理论基础、算法细节,并展示其在大规模贝叶斯推断中的可伸缩性。
  • Probabilistic Machine Learning: An Introduction, Kevin Patrick Murphy, 2022 (MIT Press) - 一本标准教材,广泛涵盖概率模型,其中包含关于随机变分推断的详细章节。
  • Stochastic Variational Inference (SVI) in Pyro, The Pyro Team, Uber AI Labs, 2024 - Pyro概率编程语言中实现SVI的官方文档,包含实际示例和概念说明。

© 2026 ApX Machine Learning