优必选悉尼大学人工智能中心提出Evolutionary GAN: 基于演化算法的GAN模型

该论文提出了一个基于演化算法的GAN框架Evolutionary GAN (E-GAN),以提升GAN训练的稳定性并期望得到更好的生成效果。本文由优必选悉尼大学人工智能中心的王超越(学生)在徐畅博士、姚新教授(南方科技大学)和陶大程教授(悉尼大学教授、优必选悉尼大学人工智能中心主任、优必选人工智能首席科学家)的联合指导下完成。

下载地址: https://github.com/WANG-Chaoyue/EvolutionaryGAN

1. 简介
生成对抗网络(GAN)在近些年中取得了快速的发展和广泛的关注,并被应用于一系列现实世界的任务中,例如图像生成,图像编辑,视频预测等等。具体来说,现有的GAN算法大多是在生成器G和判别器D之间执行一个two-player adversarial game。 在对抗过程中,生成器G致力于不断地‘骗过’判别器D,并最终生成服从真实分布的样本。虽然对抗学习在许多问题上都取得了不错的表现,但很多现有的GAN模型也都面临训练难的问题,例如梯度消失和模式崩溃(mode collapse)。在本文中,受到自然演化过程的启发,作者们提出了Evolutionary GAN (E-GAN),一个基于演化算法的GAN框架,以提升GAN训练的稳定性并期望得到更好的生成效果。

2. Evolutionary GAN

与以往的1vs1的对抗算法不同,E-GAN设计了一个判别器D与生成器‘种群’(population)之间的对抗框架。具体来说,作者假设生成器G不再以个体的形式存在,而是以‘种群’(population)的形态与判别器D进行对抗。从演化的角度,判别器D可以被视为演化过程中不断变化的环境,根据优胜劣汰的原则,生成器‘种群’中表现不好的个体(individual)被不断淘汰,只有表现优异的individual才会被保留以进一步的适应环境 (i.e., 与判别器D进行对抗)。这样,每次更新产生的生成器G都将是当下所有策略中最优的选项,从而我们不必再去小心翼翼的维持训练过程中DG的平衡,避免了梯度消失,模式崩溃等一系列训练不稳定的问题。具体的训练方法入框架图所示:

在每一次对抗过程中,生成器的演化过程由三个步骤组成,分别是变异(Variation),评估(Evaluation)和选择(Selection)。

2.1. 变异(Variation)

在对抗过程中,为了可以持续更新并得到合适的生成器G,首先需要对现有的生成器‘种群’进行变异操作,并产生新的后代(offspring)。通过观察和对比现有的GAN training loss,作者发现不同的loss function具有不同的优势和劣势,因而采用他们作为不同的变异操作 (mutations)将可以得到不同的offspring。具体在试验中,三种变异操作被采纳,分别是 Minimax mutation, 

Heuristic mutation,

和Least-squares mutation: 

通过观察这三种变异的损失函数曲线,并辅助以理论分析,作者表示这三种mutations具有互补的优势,可以用于产生不同的特性的offspring。

2.2. 评估(Evaluation)

对变异后得到的新offspring, 先要对其生成性能进行评估,并量化为相应的适应性分数 (Fitness score ):

在提出的E-GAN框架中,适应性分数(i.e.,生成性能)主要有两方面决定,生成样本的质量:Quality fitness score , 和生成样本的多样性:Diversity fitness score , 是平衡他们所占比重的超参。其中,质量分数衡量了候选生成器所生成的样本能否成功的‘骗过’判别器D,

给定当下的判别器D,如果生成的样本能够取得较高的,则可假定其生成的样本质量更高。另外,多样性分数衡量了根据候选生成器,再次更新判别器D时所产生梯度的大小。如果候选生成器生成的样本相对集中(i.e., 缺乏多样性),则相应在更新判别器D时更容易引起大幅度的梯度波动。因此,

被用以衡量生成样本的多样性。

2.3. 选择(Selection)

在衡量过所有offspring的生成性能后,作者们根据优胜劣汰的原则择优选取更新过后的生成器G进行新一轮的训练。综上所说,整个演化训练过程总结在下表中:

3. 实验

E-GAN在混合高斯分布,cifar10,LSUN bedroom,SVNH等多个数据集上进行了实验。先后验证了E-GAN网络的生成多样性,生成质量,训练效率,结构鲁棒性和生成连续性的各项性能。结合定性的生成样本感官和定量的Inception score, FID, E-GAN均表现出了优于已有two-player GAN模型的性能。部分实验结果如下所示:



理论陶大程进化算法GAN优必选科技
3
相关数据
高斯分布技术

正态分布是一个非常常见的连续概率分布。由于中心极限定理(Central Limit Theorem)的广泛应用,正态分布在统计学上非常重要。中心极限定理表明,由一组独立同分布,并且具有有限的数学期望和方差的随机变量X1,X2,X3,...Xn构成的平均随机变量Y近似的服从正态分布当n趋近于无穷。另外众多物理计量是由许多独立随机过程的和构成,因而往往也具有正态分布。

损失函数技术

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学等领域,损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

生成对抗网络技术

生成对抗网络是一种无监督学习方法,是一种通过用对抗网络来训练生成模型的架构。它由两个网络组成:用来拟合数据分布的生成网络G,和用来判断输入是否“真实”的判别网络D。在训练过程中,生成网络-G通过接受一个随机的噪声来尽量模仿训练集中的真实图片去“欺骗”D,而D则尽可能的分辨真实数据和生成网络的输出,从而形成两个网络的博弈过程。理想的情况下,博弈的结果会得到一个可以“以假乱真”的生成模型。

推荐文章
暂无评论
暂无评论~