哥伦比亚大学、剑桥大学以及DeepMind新研究:规定的生成对抗网络
近日,来自哥伦比亚大学、剑桥大学以及 DeepMind 的研究人员发表了一篇名为「规定的生成对抗网络」的新研究,并在社交媒体收到了广泛关注。以下是该研究的完整摘要分享:生成对抗网络(GAN)是一种无监督学习的强大方法。该方法在图像领域取得了最先进的性能。但是,GAN 在两方面受限:它们通常在低支持下学习分布(一种称为模式崩溃的现象),并且不保证概率密度的存在,这使得无法使用预测对数似然来评估一般性。在该研究中,研究人员开发了规定的 GAN(PresGAN)来解决这些缺点。PresGAN 将噪声添加到密度网络的输出中,并优化了熵调节的对抗损失。增加的噪声使预测的对数似然性易于处理,并稳定了训练过程。熵正则化器鼓励 PresGAN 捕获数据分发的所有模式。拟合 PresGAN 涉及计算熵正则项的难解梯度;PresGAN 使用无偏随机估计值来避免这种难处理性。研究团队几个数据集上评估了 PresGAN,发现它们减轻了模式崩溃并生成了具有高感知质量的样本。他们还发现,就传统 GAN 与变分自动编码器(VAE)之间的预测对数似然性而言,PresGAN 缩小了性能差距。