Jiacheng Xu Greg Durrett作者高璇 张倩编译

稳定、表征丰富的球面变分自编码器

经典的 VAE 实现假设潜在空间的先验函数是多元高斯的,该方法的局限性在于 KL 项可能会激励潜变量的后验分布「坍缩」到先验,导致潜在结构无法被充分利用。本文提出使用 von MisesFisher(vMF)分布代替高斯分布作为潜变量,这样做不仅可以避免 KL 坍缩,而且在一系列建模条件下(包括循环语言建模和词袋文档建模),始终能得到比高斯分布更好的表现。对 vMF 表征的性质分析表明,相比于高斯状态,这些性质在它们的潜在表征上能学习到更丰富、细致的结构。

1. 引言

近期的研究为 NLP 的一系列任务建立了深度生成模型的有效性,包括文本生成(Hu et al., 2017; Yu et al., 2017)、机器翻译(Zhang et al., 2016)以及风格迁移(Shen et al., 2017; Zhao et al., 2017a)。变分自编码器(VAE)在以往的文本建模中被研究过(Miao et al., 2016; Bowman et al., 2016),研究人员曾提出过一个用来捕获数据中潜在结构的连续潜变量。经典的 VAE 实现假设潜在空间的先验函数是多元高斯的,在训练期间,变分后验在损失函数的 KL 散度激励下会近似于先验值。以往研究发现,该方法的一个主要局限性是 KL 项可能会激励潜变量的后验分布「坍缩」到先验,导致潜在结构无法被充分利用(Bowman et al., 2016; Chen et al., 2016)。

本文提出使用 von MisesFisher(vMF)分布代替高斯分布作为潜变量。vMF 将分布置于由平均参数µ和集中参数 κ控制的单元超球面上。先验是单位超球面(κ = 0)上的均匀分布,后验分布将κ作为一个固定模型超参数。由于 KL 散度只取决于κ,研究人员可以从结构上防止 KL 坍缩并简化模型优化问题。他们表示,这种方法比灵活地学习 κ更具鲁棒性,将κ设为固定值能获得更好的性能。他们的模型获得比模拟高斯模型更好的对数似然比,同时有更高的 KL 散度值。这表明在训练末端更充分地利用了潜变量。

过去的研究已经提出了处理高斯模型下 KL 坍缩的几项技术。KL 项权重的退火算法在优化过程中仍遗留了鲁棒性弱的问题。之前的其他研究(Yang et al., 2017; Semeniuta et al., 2017)侧重于利用 CNN 而非 RNN 作为解码器,以削弱模型并鼓励使用潜在编码,但是收效甚微。以这种方式改变解码器需要精心调优模型和各种解码器的容量参数。研究者提出的方法和选择解码器是相互独立的,可以和这些方法中的任意一个相结合,在 VAE 中使用 vMF 分布也使我们能灵活地以其他方式调整先验函数,例如使用均匀乘积分布(Guu et al., 2018)或分段常数项(Serban et al., 2017a)。

研究人员在两个生成模型范例中评估他们的方法。对于 RNN 语言建模和词袋建模,研究者发现 vMF 比高斯先验更加鲁棒,并且他们的模型学会了更多地依赖潜变量,同时获得更好的留存数据似然。为了更好地理解这些模型的区别,研究人员设计并进行了一系列实验来理解高斯和 vMF 潜在编码空间的特性,这些特性使结构假设变得不同。不出所料,这些潜在代码分布捕获了许多与词袋中相同的信息,但本研究表明,与高斯编码相比,vMF 做到这一点更加容易,可以更有效地捕获到排序信息。

图 1:基于高斯先验(左)和 vMF 先验(右)的神经变分 RNN(NVRNN)语言模型。首先由编码器模型计算变分近似 q_φ(z|x)(虚框)的参数,然后采样 z 并由 z 生成词序列 x。图中显示了来自 N (0, I) 和 vMF(·,κ = 100) 的样本,后者都分布于单位球表面。虽然κ可以从编码器网络中预测出来,但实验发现将κ固定可以得到更稳定的优化和更好的性能。

论文:Spherical Latent Spaces for Stable Variational Autoencoders

论文链接:https://arxiv.org/pdf/1808.10805v1.pdf

摘要:用于文本处理的变分自编码器(VAE)的一个特点是它们结合了强大的编码-解码模型(如 LSTM)和简单的潜在分布(如多元高斯分布)。这些模型存在一个困难的优化问题:在变分后验总是等于先验时,会陷入一种糟糕的局部最优状态,而且模型完全不会利用潜变量,这种「坍缩」是由目标的 KL 散度激励导致的。我们在研究中试验了潜在分布的另一种选择——von Mises-Fisher(vMF)分布,它将散点放置在单位超球面上。有了先验和后验的选择,KL 散度项就只取决于 vMF 分布的方差,此时我们就可以将其视为一个固定的超参数。我们证明了,这样做不仅可以避免 KL 坍缩,而且在一系列建模条件下(包括循环语言建模和词袋文档建模),始终能得到比高斯分布更好的表现。对 vMF 表征的性质分析表明,相比于高斯状态,这些性质在它们的潜在表征上能学习到更丰富、细致的结构。

图 2:学习过程中单个样本的 q 随时间变化的优化可视化。在高斯情况下,KL 项使模型更趋于先验(由µ, σ 到µ', σ'),而在 vMF 中,不存在趋向单一分布的情况。

表 3:NVRNN 在 PTB 和 Yelp 测试集上的实验结果。上方的 RNNLM 和 G-VAE 显示了 Bowman 等人(2016)的结果。括号中显示的是 KL 散度,以及总 NLL。最好的结果粗体显示。vMF 始终使用较高的 KL 项权重,但在所有四项中都达到了类似或更好的 NLL 和困惑值。

NVRNN 的实验结果如表 3 所示。我们在测试集中报告了负对数似然比(NLL)和困惑值(PPL)。我们遵循了 Bowman 等人(2016)的实验,该实验对高斯 VAE 的 KL 项权值做了退火处理;vMF VAE 不需要权重退火就能很好地工作。vMF 分布在 Standard 和 Inputless 设置的所有数据集中都使性能得到提升。即使在 Standard 设置下,我们的模型也能成功地使用非零 KL 值达到更好的困惑值,甚至没出现 KL 坍缩(如在 PTBStandard 设置中的 G-VAE)。可能由于优化存在困难,高斯分布会导致较低的 KL 和糟糕的的对数似然比。在 Inputless 设置中,我们看到了巨大的提升:与高斯 VAE 相比,vMF VAE 在 PTB 中将 PPL 从 379 降到 262,在 Yelp 中从 256 降到 134。

图 4:不同超参数下的高斯和 vMF-NVRNN 的比较。所有的模型都是在 Inputless 设置下在 PTB 上训练的,其中潜在维数为 50.G-α表明高斯 VAE 与 KL 由给定的常数α退火,V-κ表明 VAE 将κ设置为既定值。绿条反映的是 KL 损失的数量,总高度反映的是整个目标。竖条上的数字是困惑值。vMF 的可调性更强,在广泛的κ值范围内也能获得更好的结果。

理论变分自编码器
2
暂无评论
暂无评论~