间隔自适应生成对抗网络

MAGANs是一种可以提高网络稳定性和表现性能的训练过程。它通过自动调整hinge loss里的间隔(margin)，使其等于真实数据分布的能量期望，在提高训练稳定性的同时，保持了分辨器与生成器之间的对抗平衡。一旦观察到生成器损失不再下降时，便更新间隔。直觉上，当间隔从a减小到b时，分辨器就无法区分能量处于a和b之间的真实和生成数据，也就是说分辨器的能力被限制了。这就使得生成器能够生成新的对抗数据，同时分辨器不能提高它们的能量。反过来，分辨器也能看到更多新的更符合真实数据分布能量的对抗数据。

【图片来源： MAGAN: Margin Adaptation for Generative Adversarial Networks；URL：https://arxiv.org/pdf/1704.03817.pdf】

上图为MAGANs的算法。其中我们定义D(x)（第5行）为使用自动编码器的分辨器，D(x)的值即为单个数据的能量：

【图片来源： Energy-based Generative Adversarial Networks;URL：https://arxiv.org/pdf/1609.03126.pdf】

第15行为分辨器的损失：

其中的m即需要自适应的间隔。生成器的损失定义为:

第23行计算的即真实数据和生成数据分布的能量期望值：

当符合以下条件时，更新间隔m：

【公式来源： MAGAN: Margin Adaptation for Generative Adversarial Networks；URL：https://arxiv.org/pdf/1704.03817.pdf】

发展历史

描述

自2014年，Goodfellow等人提出了生成对抗网络，GANs因其在学习数据分布模型上的突出表现得到了广泛关注。大量的研究也发现了其中的挑战。例如在保证分辨器和生成器的对抗平衡的同时，当一个网络的大大强于另一个网络时就会造成训练的不稳定性。很多技术在不同程度上改进了GANs。例如2017年，Wasserstein GANs（WGANs）利用基于Wasserstein距离的损失函数，首次提出了度量GANs训练中的收敛程度的方法。但为了计算Wasserstein距离，分辨器需要用到weight clipping的技术，这大大限制了网络的学习能力。在意识到这一问题后，WGANs的原作者提出用梯度正则约束（gradient norm constraint）代替weight clipping。然而这些改进都会引入额外的超参数，并且需要大量的调参工作来得到最好表现。

自动编码器被大量地运用在GANs中。Plug-and-Play Generative Networks用自动编码器来计算真实数据概率对数的梯度。Energy-based GANs（EBGANs）使用自动编码器作为分辨器，每一个样本都有一个能量值。低能量的样本为真实数据，而高能量样本为生成数据。EBGANs引入了hinge loss作为目标函数，通过使分辨器忽略能量高于某一阀值的样本稳定训练。2017年Berthelot等人扩展了EBGANs，提出BEGANs。他们引入了新的损失函数，使生成数据的能量与真实数据的能量成一定比例。

主要事件

发展分析

未来发展方向

将间隔自适应技术应用到其他GANs框架中，以验证其通用性。

Contributor: Jianghui Wang