ICML 2020 | 浙江大学、UIUC等机构联合提出文本生成的对抗性交互信息(AMI)框架
在最大化源与目标之间的互信息方面的最新进展已经证明了它在文本生成方面的有效性。然而,以往的工作对 MI(即 MI)的后向网络建模关注较少。这对于变分信息最大化下界的紧密性至关重要。在本文中,来自浙江大学、UIUC 等机构的研究者提出了一个对抗互信息 (AMI): 一个文本生成框架,它是一个新的鞍点(min-max) 优化,旨在识别源与目标之间的联合交互。在这个框架中,通过比较真实和合成的数据分布,前向网络和后向网络能够迭代地提升或降级彼此生成的实例。我们还开发了一个潜在噪声采样策略,利用高级语义空间的随机变化来增强生成过程中的长期依赖性。基于不同文本生成任务的大量实验表明,所提出的 AMI 框架能够显著优于多个强基线,我们还表明,AMI 有可能为变分信息最大化问题带来更紧密的互信息上限。