毫无疑问，生成对抗网络（GAN）是人工智能研究领域近段时间以来最大的热门之一，前段时间的 WGAN 也引起了研究界的很大关注。著名学者 Yoshua Bengio 所在的团队近日也分享了他们在 GAN 研究上的贡献，并在 2 月下旬一连在 arXiv 上发布了三篇相关论文（其中一篇为论文修正），提出了三种不同的 GAN——边界寻找生成对抗网络（BS-GAN）、最大似然增强的离散生成对抗网络（MaliGAN）和模式正则化的生成对抗网络（Regularized-GAN）。机器之心在这里对这三篇论文进行了摘要介绍，获取论文原文请访问对应链接。
论文 1：边界寻找生成对抗网络（Boundary-Seeking Generative Adversarial Networks）
论文链接：https://arxiv.org/abs/1702.08431
摘要
我们介绍了一种全新的用于训练生成对抗网络的方法——我们训练一个生成器来匹配一个目标分布，该分布会收敛到处于完美鉴别器的极限的数据分布。这个目标可被视为训练一个生成器来在每次更新的训练中产生在当前鉴别器的决策边界（decision boundary）之上的样本，我们把使用这种算法训练的 GAN 称为边界寻找 GAN（BS-GAN：boundary-seeking GAN）。这种方法可被用于训练带有离散输出的生成器——该生成器可以输出一个参数条件分布（parametric conditional distribution）。我们使用离散图像数据表明了我们提出的算法的有效性。和我们提出的算法相反，我们观察到最近提出的用于重新参数化（re-parametrizing）离散变量的 Gumbel-Softmax 技术不能用于训练带有离散数据的 GAN。最后，我们注意到我们提出的边界寻找算法甚至可以用于连续变量，而且我们通过两个被广泛使用的图像数据集 SVHN 和 CelebA 证明了其有效性。
图 1：传统的 GAN 和这里提出的 BGAN 在 1 维样本上的定性比较。鉴别器 D 固定于一个带有 0.8 的系数的 logistic 回归。注意传统 GAN 的生成器目标的最大值是正无穷大（红色曲线），而这里提出的 BGAN 的最小值位于决策边界（蓝色曲线）。和这里提出的 BGAN 不同，传统 GAN 的学习梯度（红色虚线）会将生成的样本推到真实样本之外。
图 2：左图：用离散 MNIST 数据训练的边界寻找 GAN（BGAN）的生成器所生成的随机样本。这里展示的是该生成器的条件分布的伯努利中心（Bernoulli centers）。样本表现出了很高的多样性，生成的手写数字具有很高的真实感。右图：人工选择过的边界寻找 GAN 的生成器所生成的数字样本。进行人工选择是为了证明这些生成样本的多样性。
图 3：左图：真实的 16 色（4 比特）量化的 CelebA 图像，已被下采样到 32×32。右图：由在该量化的 CelebA 上进行了 30 epoch 训练的边界寻找 GAN 的生成器所产生的样本。样本的真实度并不完美，但和原样本具有很好的相似度，我们也观察到了很大的多样性。
图 4：当训练一个边界寻找 GAN（BGAN）时，随学习率变化的生成器成本（generator cost）的演变。在所有的学习率上，我们可以观察到生成器成本是一条光滑的曲线，这说明了这里提出的 BGAN 的学习稳定性。
论文 2：最大似然增强的离散生成对抗网络（Maximum-Likelihood Augmented Discrete Generative Adversarial Networks）
论文链接：https://arxiv.org/abs/1702.07983v1
摘要
尽管生成对抗网络（GAN）在获取连续分布上已经取得了成功，但其在离散背景（比如自然语言任务）上的应用却相当有限。主要的原因是通过离散变量的反向传播很困难，而且 GAN 训练目标还具有固有的不稳定性。为了解决这些问题，我们提出了最大似然增强的离散生成对抗网络（Maximum-Likelihood Augmented Discrete Generative Adversarial Networks）。我们没有直接优化该 GAN 目标，而是使用遵循对数似然的对应的输出而推导出了一种全新的且低方差的目标。和原来的相比，事实证明这种新的目标在理论上是一致的，且在实践中也是有益的。在多种离散数据集上的实验结果表明了我们提出的方法的有效性。
算法 1：MaliGAN
算法 2：带有混合 MLE 训练的 Sequential MaliGAN
论文 3：模式正则化的生成对抗网络（Mode Regularized Generative Adversarial Networks）
论文链接：https://arxiv.org/abs/1612.02136
（注：本论文为修改版论文，其第一版提交于 2016 年 12 月 7 日，本文为最新的第四版。本论文已被 ICLR 2017 接受。）
摘要
尽管生成对抗网络（GAN）在许多不同的生成任务上都实现了当前最佳的结果，但它们被认为是高度不稳定的且容易出错。我们认为 GAN 的这些糟糕行为是由于在高维空间中训练过的鉴别器的非常特定的函数形状，这可以轻松使得训练陷入困境或将概率质量（probability mass）推向错误的方向，导致集中度（concentration）比其数据生成分布（data generating distribution）更高。我们介绍了几种对其目标进行正则化的方法，它们可以极大地稳定 GAN 模型的训练。我们还表明我们的正则化器（regularizer）可以在训练的早期阶段帮助在数据生成分布的模式上实现公平的概率质量分布，从而能为该模式缺失问题（missing modes problem）提供一种统一的解决方案。
图 4：左边 1-5 图：用于 MNIST 生成的不同超参数。我们的 Regularized GAN 中的λ1 和 λ2 的值列在对应的样本下方。右边 6-7 图：对 GAN 和 Regularized GAN 进行网格搜索而得到的最佳样本。
图 6：不同的生成模型所生成的样本。对于这里每一个比较的模型，我们直接从它们对应的论文和代码库里面取了 10 个比较好的样本。注意 MDGAN 在全局一致性上更好，而且在局部上也有很好的纹理锐利度。
图 7：Regularized-GAN 和 MDGAN 所生成的侧脸样本
