变分贝叶斯是一种在贝叶斯框架下的变分算法，主要应用于复杂模型的统计中。这种模型一般包括三类变量：观测变量(observed variables, data)，未知参数（parameters）和潜变量（latent variables）。在贝叶斯推断中，参数和潜变量统称为不可观测变量(unobserved variables)。AVB是针对变分自动编码器（VAEs）而提出的。
变分自动编码器（VAEs）是具有表达能力的潜变量模型，可以用来通过输入数据来学习复杂的概率分布。然而，输出模型的质量主要依赖于推理模型的表达能力。AVB作为变分贝叶斯模型的一种改进算法，对于任意形式的推理模型的变分自动编码器，AVB都可以对其进行训练。在生成模型的背景下，AVB可以使用神经采样器来执行变分贝叶斯（VB）。这个过程可以通过下图来进行表示，通过AVB来训练神经网络，从一个非标准的非概率密度分布函数中进行采样（左图所示），并作为学习潜变量的推理模型。这样做以后，可以准确地估计一个概率模型的后验分布，就像图中（右图所示）所示的那样。[描述来源：Mescheder L, Nowozin S, Geiger A. Adversarial variational bayes: Unifying variational autoencoders and generative adversarial networks[J]. arXiv preprint arXiv:1701.04722, 2017.]
[图片来源：Mescheder L, Nowozin S, Geiger A. Adversarial variational bayes: Unifying variational autoencoders and generative adversarial networks[J]. arXiv preprint arXiv:1701.04722, 2017.]
2. 发展历史
描述
1999年，Attias提出了基于贝叶斯框架的变分算法。2016到2017年间，一些学者陆续提出了对抗变分贝叶斯的思想。2017年，Mescheder等人对以往的方法进行了总结统一，提出了对抗变分贝叶斯的概念，并提出利用对抗变分贝叶斯训练任意形式的推理模型的变分自动编码器。
主要事件
A | B | C | |
1 | 年份 | 事件 | 相关论文/Reference |
2 | 1999 | Attias提出了变分贝叶斯算法 | Attias H. Inferring parameters and structure of latent variable models by variational Bayes[C]//Proceedings of the Fifteenth conference on Uncertainty in artificial intelligence. Morgan Kaufmann Publishers Inc., 1999: 21-30. |
3 | 2016-2017 | 一些学者陆续提出了对抗变分贝叶斯的思想 | （1）Li, Yingzhen and Liu, Qiang. Wild variational approximations. In NIPS workshop on advances in approximate Bayesian inference, 2016. （2）Karaletsos, Theofanis. Adversarial message passing for graphical models. arXiv preprint arXiv:1612.05048, 2016. （3） Husz´ar, Ferenc. Variational inference using implicit distributions. arXiv preprint arXiv:1702.08235, 2017. |
4 | 2017 | Mescheder等人提出了利用对抗变分贝叶斯训练任意形式的推理模型的变分自动编码器 | Mescheder L, Nowozin S, Geiger A. Adversarial variational bayes: Unifying variational autoencoders and generative adversarial networks[J]. arXiv preprint arXiv:1701.04722, 2017. |
3. 发展分析
未来发展方向
通过利用对抗变分贝叶斯对对抗编码器和解码器网络的神经网络体系结构进行研究，找到更好的对比分布，可以在对概率模型的推测方面取得进一步的进展。[描述来源：Mescheder L, Nowozin S, Geiger A. Adversarial variational bayes: Unifying variational autoencoders and generative adversarial networks[J]. arXiv preprint arXiv:1701.04722, 2017.]
By Yilin Pan