Softmax生成对抗网络

一般生成网络是用于进行密度估计的。这些模型从未知分布的数据集中选择的训练数据，估计出这个数据集的分布模型。GAN作为生成模型的一种，用于通过训练数据训练的模型来生成一些样本。GAN由一个判别器和一个生成器组成，判别器用于对生成数据和真实数据进行区分，而生成器通过利用从判别器中的信息，并基于真实样本生成仿造样本。

GAN与其他的生成模型具有以下几点不同：

1. 不同于多数基于概率分布来生成样本的模型，GAN通过一个深度神经网络来作为生成器，通过使用随机噪声生成样本。
2. 可以并列的输出多个样本，也就是说它的模型有多个可能的输出，每一个输出都被认为是真实的。
3. 生成器函数具有更少的假设限制。

总的来说，相比较于其他方法，生成对抗网络产生的样本质量更高。[描述来源：Goodfellow I. NIPS 2016 tutorial: Generative adversarial networks[J]. arXiv preprint arXiv:1701.00160, 2016.]

Softmax GAN作为GAN的一个新的变体，它与GAN的主要区别是：通过利用softmax交叉熵损失函数来代替传统GAN中的分类损失函数，来解决判别器和生成器在训练过程中不平衡的问题。例如：有$M$个真实的样本和$N$个生成样本，判别器的训练目标是，将可能性的概率均分到所有的真实样本上，即每个真实样本的概率等于$1/M$，而生成样本的概率均为0。在生成器的训练阶段，训练目标是使得所有样本具有相同的概率，即$1/（M+N）$。[描述来源：Lin M. Softmax GAN[J]. arXiv preprint arXiv:1704.06191, 2017.]

发展历史

描述

Ian Goodfellow提出了一种对抗性的生成网络，并在MNIST，The Toronto face dataset以及CIFAR-10数据集上取得了很好的效果。并证明了这种算法在许多领域的优越性。随后的2015年，Alec Radford和Luke Metz提出了基于深度卷积网的GAN（DCGAN），自此这个网络成为了许多GAN变体网络的基础。2016年，Junbo Zhao等人提出了基于能量的生成对抗网络，将判别器视为能量函数。通过这种方法，GAN可以使用除了基于逻辑输出的二值分类器之外的各种架构和损失函数。2017年，Softmax GAN被提出，网络中利用softmax交叉熵来代替传统GAN中的分类损失函数，解决了判别器和生成器在训练过程中不平衡的问题。

主要事件

发展分析

瓶颈

Softmax GAN作为一个新提出的算法，具有一些缺陷：

• GAN以及softmax GAN在训练时不稳定，不容易收敛，对初始参数的要求很高。
• 会出现模型崩溃现象（mode collapse）,比如输入的图片是猫狗牛羊，但是只能生成猫的图片。
• 有时会生成很多无意义的样本。

未来发展方向

相对于其他的生成网络，GAN以及softmax GAN产生的样本质量更高，而且在现阶段的模型训练阶段，训练样本不足会导致模型的效果差强人意，而通过使用softmax GAN来生成样本，用于进行半监督的学习是未来的发展趋势。

Contributor: Yilin Pan