Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

生成矩匹配网络

一种无监督的生成学习的方法,利用最大平均差作为目标函数的统计假设检验技术来实现数据的生成。这种技术可以被解释为对数据集和模型中样本之间的所有数据进行匹配,并通过反向传播的方法对对模型进行训练,以生成与训练集之间相似的数据。和生成对抗模型类似,但是生成对抗模型需要一个复杂的小程序进行十分仔细的优化,而生成式矩匹配网络通过使用最大平均差统计最为目标函数,实现起来更加简单,这正是这个网络的实现的关键。通过将生成式矩匹配网络与自动编码器网络相结合,可以进一步提高这种方法的性能,使用最大均值误差学习生成代码,然后可以对代码进行解码来生成样本。

简介

生成式矩匹配网络是一种无监督的生成学习的方法,利用最大平均差作为目标函数的统计假设检验技术来实现数据的生成。这种技术可以被解释为对数据集和模型中样本之间的所有数据进行匹配,并通过反向传播的方法对模型进行训练,以生成与训练集之间相似的数据。和生成对抗模型类似,但是生成对抗模型需要对分别生成器和判别器对应的优化函数最大最小化处理,这是一个精细且复杂的调优过程。而生成式矩匹配网络通过使用一种统计假设检验技术,以模型样本和匹配数据集之间的最大平均差作为目标函数,通过反向传播进行训练。实现起来更加简单,这正是这个网络的实现的关键。换言之,GAN中的discriminator在GMMN中被两个基于kernel最大平均差异的测试样本代替。通过将生成式矩匹配网络与自动编码器网络相结合,可以进一步提高这种方法的性能,使用最大均值误差学习生成代码,然后可以对代码进行解码来生成样本。网络以及与网络与自动编码器相结合的示意图如下所示:[描述来源:Li Y, Swersky K, Zemel R. Generative moment matching networks[C]//International Conference on Machine Learning. 2015: 1718-1727.]

发展历史

描述

2015年,Yujia Li等人提出了生成式矩匹配网络,并于自动编码器网络相结合,在MNIST和多伦多人脸数据库( Toronto Face Database)上获得了优越的性能。在同一年,Alireza Makhzani提出了一种基于生成式矩匹配网络的算法,并对其进行了改进,提高了算法在MNIST和多伦多人脸数据库上的测试结果。2017年,Chun-Liang Li等人通过引入对抗核学习技术,在优化模型的形式的同时,提高了计算效率。

主要事件

年份

事件

相关论文/Reference

2015

提出了生成式矩匹配网络,并于自动编码器网络相结合,获得了更好的性能。

Li Y, Swersky K, Zemel R. Generative moment matching networks[C]//International Conference on Machine Learning. 2015: 1718-1727.

2015

在生成式矩匹配网络的基础上进行了改进,提高了算法的识别结果。

Makhzani A, Shlens J, Jaitly N, et al. Adversarial autoencoders[J]. arXiv preprint arXiv: 1511.05644, 2015.

2017

通过引入对抗核学习技术,在优化模型的形式的同时,提高了计算效率。

Li C L, Chang W C, Cheng Y, et al. MMD GAN: Towards deeper understanding of moment matching network[C]//Advances in Neural Information Processing Systems. 2017: 2200-2210.

发展分析

瓶颈

生成式矩匹配网络是一种比较新的技术,虽然有一些理论依据作为支撑,但是现阶段有一些不足,特别是在面对在具有挑战性和大型的基准数据集上,生成式矩匹配网络的实验结果相比较于生成对抗网络不具有优势。在训练过程中对数据的需求量很大,因此计算复杂度也有待提高。[描述来源:Li C L, Chang W C, Cheng Y, et al. MMD GAN: Towards deeper understanding of moment matching network[C]//Advances in Neural Information Processing Systems. 2017: 2200-2210.]

未来发展方向

生成式矩匹配网络作为生成式模型,具有生成数据样本的能力。这种能力在一定程度上反映了它对事物的理解。 因此,该算法有望加深人工智能的理解层面的研究。而且该算法针对生成对抗网络训练时存在的问题进行了改善,使得生成数据的过程更简单。


Contributor: Yilin Pan

简介