微软NIPS 2016论文提出联想式对抗网络

Synced (214).jpg

摘要

我们提出了一种更高层面的用于学习对抗网络的联想记忆(associative memory)。生成式对抗网络(GAN/generative adversarial network)框架有一个鉴别器(discriminator)网络和一个生成器(generator)网络。其中生成器(G)将白噪声(z)映射到数据样本,而鉴别器将数据样本映射到单个标量。为了做到这一点,G 要学习如何将高层面的表征空间映射(representation space)到数据空间(data space),而 D 则要学习做相反的事。我们认为更高层面的表征空间并不一定必须遵循均匀的概率分布。在这项工作中,我们使用受限玻尔兹曼机(RBM)作为更高层面的联想记忆和学习由 D 所生成的高层面特征的概率分布。这个联想记忆会采样其基本的概率分布,而 G 会学习如何将这些样本映射到数据空间。我们提出的联想式对抗网络(AAN/associative adversarial network)是更高层面的学习的生成式模型,并且使用了对抗非随机模型 D 和 G 来学习数据和更高层面的表征空间之间的映射。我们的实验显示了这种网络的潜力。

Synced (198).jpg

图 1:AAN:联想式对抗网络模型。鉴别器的一个中间层(图中深绿色)被 clamp 成 RBM 网络(联想记忆)的一个可见层(visible layer),然后其再被采样以为生成器网络(与噪声采样相反)生成输入。这个对联想记忆来说可见的层表征了一个特征空间,该特征空间能够获取数据中变化的潜在因素。鉴别器中接下来的层主要用于嵌入在 GAN 目标函数中的分类任务。但是,这些网络层之间并不存在实际的区别,也没有施加这样的限制。这里有三个独立的网络,其中两个是非随机的模型(D 和 G),另一个随机的模型(RBM)。所有的网络是联合学习的( jointly learned)。

论文地址:Associative Adversarial Networks

理论
暂无评论
暂无评论~
返回顶部