Black Box Variational Inference, Rajesh Ranganath, Sean Gerrish, David Blei, 2014Proceedings of the Seventeenth International Conference on Artificial Intelligence and Statistics (AISTATS), Vol. 33 - 这篇基础论文介绍了黑盒变分推断(BBVI),提供了一个通用的变分推断框架,避免了分析梯度推导的需要,转而依赖蒙特卡洛估计。它是本节核心主题的直接来源。
Auto-Encoding Variational Bayes, Diederik P. Kingma, Max Welling, 2013International Conference on Learning Representations (ICLR) Workshop TrackDOI: 10.48550/arXiv.1312.6114 - 这项开创性工作在引入变分自编码器的同时,推广了重参数化技巧(又称路径导数估计器),作为一种用于变分推断中低方差梯度估计的方法,与文中对该技术的详细说明高度相关。
Automatic Differentiation Variational Inference, Alp Kucukelbir, Dustin Tran, Robert R. Ma, Adeline Yu, Andrew Gelman, 2017Journal of Machine Learning Research (JMLR), Vol. 18 (Journal of Machine Learning Research)DOI: 10.5555/3122009.3122010 - 这篇论文详细阐述了自动微分变分推断(ADVI),它是BBVI的一种实际实现,它利用了Stan等概率编程语言中的现代自动微分工具。它展示了通用的BBVI框架如何在实践中应用。