对抗变分贝叶斯

对抗变分贝叶斯(AVB)是一种用任意表达推理模型来训练变分自动编码器(VAE)的技术。其通过引入一个辅助区分网络来实现这一点,该网络允许将最大似然问题改写为双人游戏,从而建立了VAE和生成对抗网络(GAN)之间的原则性连接。

简介

变分贝叶斯是一种在贝叶斯框架下的变分算法,主要应用于复杂模型的统计中。这种模型一般包括三类变量:观测变量(observed variables, data),未知参数(parameters)和潜变量(latent variables)。在贝叶斯推断中,参数和潜变量统称为不可观测变量(unobserved variables)AVB是针对变分自动编码器(VAEs)而提出的。

变分自动编码器(VAEs)是具有表达能力的潜变量模型,可以用来通过输入数据来学习复杂的概率分布。然而,输出模型的质量主要依赖于推理模型的表达能力。AVB作为变分贝叶斯模型的一种改进算法,对于任意形式的推理模型的变分自动编码器,AVB都可以对其进行训练。在生成模型的背景下,AVB可以使用神经采样器来执行变分贝叶斯(VB)。这个过程可以通过下图来进行表示,通过AVB来训练神经网络,从一个非标准的非概率密度分布函数中进行采样(左图所示),并作为学习潜变量的推理模型。这样做以后,可以准确地估计一个概率模型的后验分布,就像图中(右图所示)所示的那样。[描述来源:Mescheder L, Nowozin S, Geiger A. Adversarial variational bayes: Unifying variational autoencoders and generative adversarial networks[J]. arXiv preprint arXiv:1701.04722, 2017.]

[图片来源:Mescheder L, Nowozin S, Geiger A. Adversarial variational bayes: Unifying variational autoencoders and generative adversarial networks[J]. arXiv preprint arXiv:1701.04722, 2017.]

2. 发展历史

描述

1999年,Attias提出了基于贝叶斯框架的变分算法。20162017年间,一些学者陆续提出了对抗变分贝叶斯的思想。2017年,Mescheder等人对以往的方法进行了总结统一,提出了对抗变分贝叶斯的概念,并提出利用对抗变分贝叶斯训练任意形式的推理模型的变分自动编码器。

主要事件

A

B

C

1

年份

事件

相关论文/Reference

2

1999

Attias提出了变分贝叶斯算法

Attias H. Inferring parameters and structure of latent variable models by variational Bayes[C]//Proceedings of the Fifteenth conference on Uncertainty in artificial intelligence. Morgan Kaufmann Publishers Inc., 1999: 21-30.

3

2016-2017

一些学者陆续提出了对抗变分贝叶斯的思想

1Li, Yingzhen and Liu, Qiang. Wild variational approximations. In NIPS workshop on advances in approximate Bayesian inference, 2016. 2Karaletsos, Theofanis. Adversarial message passing for graphical models. arXiv preprint arXiv:1612.05048, 2016. 3 Husz´ar, Ferenc. Variational inference using implicit distributions. arXiv preprint arXiv:1702.08235, 2017.

4

2017

Mescheder等人提出了利用对抗变分贝叶斯训练任意形式的推理模型的变分自动编码器

Mescheder L, Nowozin S, Geiger A. Adversarial variational bayes: Unifying variational autoencoders and generative adversarial networks[J]. arXiv preprint arXiv:1701.04722, 2017.

3. 发展分析

未来发展方向

通过利用对抗变分贝叶斯对对抗编码器和解码器网络的神经网络体系结构进行研究,找到更好的对比分布,可以在对概率模型的推测方面取得进一步的进展。[描述来源:Mescheder L, Nowozin S, Geiger A. Adversarial variational bayes: Unifying variational autoencoders and generative adversarial networks[J]. arXiv preprint arXiv:1701.04722, 2017.]

By Yilin Pan

相关人物
Andreas Geiger
Andreas Geiger
Ian Goodfellow
Ian Goodfellow
Ian Goodfellow 是机器学习领域备受关注的年轻学者之一,他在本科与硕士就读于斯坦福大学,师从吴恩达,博士阶段则跟随蒙特利尔大学的著名学者Yoshua Bengio研究机器学习。Goodfellow 最引人注目的成就是在2014年6月提出了生成对抗网络(GAN)。这一技术近年来已成为机器学习界最火热的讨论话题,特别是在最近几个月里,与GAN有关的论文不断涌现。GAN已成为众多学者的研究方向。
凯尔·克兰麦
凯尔·克兰麦
美国物理学家,纽约大学宇宙学与粒子物理中心教授。他是一名实验粒子物理学家,主要依靠瑞士日内瓦的大型强子对撞机进行工作。 Cranmer推广了一种协作统计建模方法,并开发了统计方法,该方法于2012年7月在LHC中用于发现希格斯玻色子。
简介
相关人物