ACL2017、对话系统、GAN……总有一篇适合你!

#ACL2017 论文推荐# 

AMR-to-text Generation with Synchronous Node Replacement Grammar


本文工作来自 PaperWeekly 群友 Linfeng Song。研究从 AMR 图的生成含有对应语义的文本,该方法采用同步图文法(Synchronous Node Replacement Grammar,源端是图片段目标端是短语)同步构建 AMR 图的 derivation 和译文,训练和解码采用 log-linear 模型和 beamsearch 解码,该方法也可以用于基于图的机器翻译上去,AMR 是一种基于有向图图的语义结构,对机器翻译、信息抽取、句子理解等任务有帮助。


论文链接:https://arxiv.org/abs/1702.00500v1


推荐人:大俊,PaperWeekly 首席客服


#对话系统#

#CVAE#

#ACL2017#

Learning Discourse-level Diversity for Neural Dialog Models using Conditional Variational Autoencoders


本文工作来自 PaperWeekly 作者团队的赵天成博士。Encoder-decoder 模型目前被广泛应用到开域对话生成的任务上。但是目前标准的encoder-decoder 生成的回复通常都是 generic and dull。为了解决这个问题,我们提出了一个全新的基于 conditional variational autoenocders (CVAE) 的对话生成模型。不同于以往的方法专注于改进 decoder 的解码过程,我们的模型通过改进 encoder,让 encoder 可以学习出下一个回复在 utterance-level 的概率分布。我们的贡献包括 1.利用一个 utterance-level latent variable 来描述下一句对话回复的概率分布,从而即使 decoder 仅使用 greedy decoding,也可以得到 diverse responses 2. 改进了标准的 CVAE 模型,让人可以利用先验语言学知识来引导模型的训练,得到了超过 baseline 的性能 3. 改进了 VAE/CVAE 用于文字生成的训练 loss function,实验显示比之前的(Bowman 2015)里提出的 training tricks 更加有效。

论文链接:https://arxiv.org/abs/1703.10960


推荐人:大俊,PaperWeekly 首席客服


#对话系统#

#语料#

Frames: A Corpus for Adding Memory to Goal-Oriented Dialogue Systems


本文又是一个福利,工作来自 Maluuba。又贡献了一个数据集给大家,一共 1369 段对话,平均每段对话 15 轮。


论文链接:https://arxiv.org/abs/1704.00057


数据集地址:http://datasets.maluuba.com/Frames


推荐人:大俊,PaperWeekly 首席客服


Words Or Characters? Fine-Grained Gating For Reading Comprehension


本文来自卡耐基梅隆大学,在自然语言处理,如何对语言进行表征是一个很重要的问题,目前主要有两种表征方法,word-level 的表征和 character-level 的表征,word-level 即最常用的词嵌入向量,其优点是能够较好的捕获词义(semantic)的相似信息,character-level 是使用 RNN 或者 CNN 的隐状态来进行表征, 在词的形态学信息上表现较好(sub-word morphology,也就是时态,单复数结构等等),将这两者的优点结合起来能够更好的表征语言,进而在 NLP 的各个任务中获得较好的效果,但是目前结合这两者的方法,主要是直接进行向量拼接,或者使用一个固定的门函数(gate function)来控制这两者混合的比例,这些方法都各有其不足。本文提出一个细粒度的门函数来控制两种表征的混合比例,在每一个向量维上分别控制混合比例,从而达到改善了这个问题。进一步来说,文章认为,基于命令实体识别、词性标注、词频等信息,能够使用一个神经层来控制在 word-level 和 charctor-level 的信息流动,从而基于不同的词,分别对两种表征的比重进行侧重。 进一步在这个思想的基础上,针对机器理解(reading comprehension)任务,文章提出一个细粒度的门控机制(fine-grained gating mechanism)来控制 document 和 query 之间的信息交互,使用 query 来对 document 进行注意力(attention)分配,在 children book test 数据集和斯坦福问答数据集上,都取了 state of art 的结果。


论文链接:https://arxiv.org/abs/1611.01724v1


推荐人:于翮,北京航空航天大学(PaperWeekly arXiv组志愿者)


#GAN#

BEGAN: boundary equilibrium generative adversarial networks


本文作者提出一种 auto-encoder 结构的 GAN(类似 EBGAN),即将 discriminator 设计成 encoder,generator 设计成 decoder,而 loss 是基于 discriminator 的重构误差。作者从实验观察的角度提出 real image 和 sample image 的重构 loss 近似服从高斯分布,以此为依据设计了 D 和 G 的目标函数。作者提出的目标函数与 WGAN 相似,不同之处在于不用 k-lipschtz 的假定。


此外,作者提出了一个衡量生成样本多样性的超参数:生成样本的 loss 的期望与真实样本的 loss 的期望之比。它能够均衡 D 和 G,从而稳定训练过程。通过实验发现这个超参数对 encoder 和 decoder 不均衡的情形也能有很好的指导作用。该参数越小表明生成样本的多样性和质量越低,参数越大表明多样性和质量越高,它体现了 boundary equilibrium。


论文链接:https://arxiv.org/abs/1703.10717


代码链接:

https://github.com/carpedm20/BEGAN-pytorch

推荐人:洪佳鹏,北京大学(PaperWeekly arXiv 组志愿者)


#QA#

Reading Wikipedia to Answer Open-Domain Questions


本文是 Stanford 的博士生陈丹琦在 FAIR 实习期间的工作,发表在 ACL-17 上。借助大规模开源的外部知识库是突破机器阅读和问答能力的关键。这个知识库可以是结构化的知识图谱,也可以是非结构话的文档。作者基于 500 万+的 Wikipedia 文档,在SQuAD,WebQuestions 等几个问答数据集上,做开放式的问答系统。作者提出的 DrQA 模型是由 Document Retriever 和 Document Reader 两块组成。Document Retriever 结合 TF-IDF 加权的词袋向量和 Bigram 去表示每一个问题(Question),然后用这个表示(representation)去召回最相关的五篇文章(Article)。Document Reader 则借鉴最近在机器阅读上表现很好的引入注意力的循环神经网络(AttentiveReader),用段落(Paragraph)和问题(Question)的表示训练两个分类器,预测答案的开始和结束位置。值得注意的是,在编码段落中的词时候,不止使用了词向量(具体参考论文 3.2)。作者在 SQuAD 上测试提出的 Document Reader 模型,取得了在所有发表工作中最好的效果。在测试加入 Wikipedia 作为背景知识(context)的开放式问答系统的实验上,为了得到包含(Paragraph, question, answer)这种形式的数据集,作者使用 Distantly Supervised 技术,在已有的四个数据集上,使用 Document Retriever 召回既跟 Question 重合度高,又包含 Answer 的 Paragraph,构造包含外部知识的问答数据集。在 Document Reader 上训练和测试,通过不同数据集的迁移学习,有效的提高答案 exact-match 的准确率


论文链接:https://arxiv.org/abs/1704.00051


推荐人:刘瑾莱,北京邮电大学(PaperWeekly arXiv小组志愿者)


#情感#

#对话系统# 

Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memory


上下文的一致性是对话系统体现“智能”的重要特征,但一个真正的智慧体应该不仅仅是只考虑了内容上的一致性,而也应该考虑情感的一致性,情感的理解和表达是更加体现“智能”的表现。本文正是在内容一致性的基础上改进了模型,考虑了情感的一致性。


论文链接:https://arxiv.org/abs/1704.01074


推荐人:大俊,PaperWeekly 首席客服


#model-free#

Statistical Efficiency of Compositional Nonparametric Prediction


这篇文章提供了一种新的非参方法的框架,把 Additive model 和 Tensor Product 都包含在其中。Motivation 来自于 additive model 虽然简单,但是现实中很少存在。具体的就是搭建了一种 Tree 模型,最底层代表了 weighted basis 然后中间的 node 代表加法或者乘法的运算。理论上通过 bound Rademacher 给了一个 rate。


论文链接:https://128.84.21.199/abs/1704.01896


推荐人:statmlben,香港城市大学(PaperWeekly arXiv小组志愿者)



入门ACL 2017论文PaperWeeklyNLP理论GAN知识问答
PaperWeekly
PaperWeekly

PaperWeekly 是一个推荐、解读、讨论和报道人工智能前沿论文成果的学术平台,

PaperWeekly
PaperWeekly

推荐、解读、讨论和报道人工智能前沿论文成果的学术平台。

推荐文章
返回顶部