2018/08/24 11:18

任烁作者

ACL 2018：一文带你看自然语言处理领域最新亮点

编者按：上月，自然语言处理顶级会议ACL 2018在墨尔本成功举办。微软亚洲研究院联培博士任烁从大会现场带回了新鲜出炉的参会总结，与大家分享本届大会上的优秀论文和机器翻译最新进展。文末附微软亚洲研究院在本次ACL中入选论文的一键下载资源，感兴趣的朋友不要错过哦。

7月15日至20日，自然语言处理顶级会议ACL 2018在澳大利亚墨尔本成功举办。本届大会投稿量和接受量均有增长，共收到投稿1544篇，最终录用381篇，其中长文256篇（录取率25.1%），短文125篇（录取率23.8%）。

图1 ACL 2018投稿统计

根据对接收论文标题的词云分析，在ACL 2017和2018上持续热门的关键词有注意力机制（attention）、网络（network）、知识（knowledge）、序列（sequence）和语言（language）。而在今年的ACL中，句子（sentence）、词嵌入（embedding）和情感（sentiment）受到了更多的关注。交叉（cross）、领域（domain）、无监督（unsupervised）等关键词也在今年上榜，可以看到业界有更多的人开始着手不同领域之间的交叉迁移，以及无监督学习的工作。

图2 接收论文标题关键词（左：ACL 2017独有，中：ACL 2017和ACL 2018共有，右：ACL 2018独有）

同时，本届ACL还宣布将针对亚太地区成立AACL（Asia-Pacific Chapter of the ACL）大会。

最佳论文

3篇长文与2篇短文获得了本次会议的最佳论文。

最佳长文：

1. Finding syntax in human encephalography with beam search. John Hale, Chris Dyer, Adhiguna Kuncoro and Jonathan Brennan

本篇论文通过对人脑电波中early peak现象的分析，发现循环神经网络语法生成模型（Recurrent neural network grammars，RNNGs）与束搜索（beam search）的组合，能够对人脑进行自然语言理解时的语法处理过程进行比较好的建模。这一篇文章属于自然语言处理与人脑研究的交叉领域的成果，实验充分，可以将其认作从人脑生物学角度对深度学习方法有效性的肯定。

论文链接：https://arxiv.org/pdf/1806.04127.pdf

2. Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfect Information. Sudha Rao and Hal Daumé III.

这篇论文中，作者定义了一个新任务：对于一个可能模糊的问题，从一群候选问题中找出澄清性最强的问题（clarification questions）作为模糊问题的信息补充，从而得到更有价值的回答。作者针对这一任务设计了简单的模型，后基于StackExchange上爬取的数据创建了数据集，并设计了评价指标。在研究中，定义新任务一般是比较冒险的，因为可能受到各方面的质疑：任务是否有意义、定义是否清晰、是否可解、评价指标是否合理等等。这篇论文对以上几点都做了逻辑清晰的阐述。

论文链接：https://arxiv.org/pdf/1805.04655.pdf

3. Let’s do it “again”: A First Computational Approach to Detecting Adverbial Presupposition Triggers. Andre Cianflone,* Yulan Feng,* Jad Kabbara* and Jackie Chi Kit Cheung. (* equal contribution)

这篇论文也提出了一个新任务，预测副词词性的假定形态触发语（adverbial presupposition triggers），并且提出了针对此任务的一个计算方法。该论文关注了语言学中的一个现象，而语言学的知识也是几乎历年ACL最佳论文中都会稍加侧重的点。由于笔者的语言学知识不丰富，所以就不具体阐述了，大家有兴趣可以自己阅读。

论文链接：https://arxiv.org/pdf/1806.04262.pdf

最佳短文：

1. Know What You Don’t Know: Unanswerable Questions for SQuAD. Pranav Rajpurkar, Robin Jia and Percy Liang

机器阅读理解是近年来兴起的任务之一，业内顶级的机器阅读理解水平测试当属基于SQuAD数据集（Stanford Question Answering Dataset）的文本理解挑战赛，在SQuAD数据集中，机器需要“阅读”一篇短文章，并回答一系列相关的阅读理解题。但在现实中，可能有一些问题根据文章是无法回答的，这个时候机器应当拒绝回答。为了考察机器的这一点，作者发布了SQuAD 2.0数据集，它在之前SQuAD数据集的基础上，增加了50,000条人工标注的不可回答问题，这样机器不仅需要正确回答可以回答的问题，还需要正确识别出不可回答的问题。这一数据集的发布将会进一步推动机器阅读理解的研究。

论文链接：https://arxiv.org/pdf/1806.03822.pdf

2. ‘Lighter’ Can Still Be Dark: Modeling Comparative Color Descriptions. Olivia Winn and Smaranda Muresan

这篇论文对于颜色的比较级描述（更亮ligher，更暗darker）进行了建模，能够对于给定的RGB色彩和比较级形容词的描述，得到期望的色彩。这篇论文同样发布了一个针对此任务的数据集。

论文链接：http://aclweb.org/anthology/P18-2125

机器翻译最新进展

在本次大会上，笔者结合自己的研究兴趣，重点关注了机器翻译的分会议。在两天的oral presentation中，有两篇论文都提到了文档级的机器翻译（document-level neural machine translation）。与句子级别的翻译相比，文档级别的翻译主要面临两个方面的挑战，一是指代消解问题，二是用词一致性的问题。因为在文档中，代词的出现是十分常见的，同时对于同一文档的同一个问题，前后叙述的用词也应当是一致的，这跟独立的句子有很大不同。

而在文档级别的机器翻译任务上，还没有一个统一的数据集，因此这两篇论文中，作者选取的都是字幕数据集，将视频字幕作为一篇文档来处理。同时，文档级机器翻译目前也还没有专门的自动评测指标。

在论文Context-Aware Neural Machine Translation Learns Anaphora Resolution中，作者基于现有的Transformer模型，构造了源语言编码器（source encoder）和上下文编码器（context encoder），两个编码器的输出经过一个统一的注意力层（attention layer），得到上下文相关的源语言表示。通过详细的实验分析与举例论证，作者发现通过这种方式引入上下文信息后，模型能够处理文档级机器翻译中的指代消解问题。在下图的attention图中可以看到，对于“it”这个代词，模型能够较为准确地将其对应到上文中的“heart”这个词上，从而可以在翻译到目标语言时完成指代消解。

Context-Aware Neural Machine Translation Learns Anaphora Resolution, Voita et al.

论文链接：http://aclweb.org/anthology/P18-1117

Transformer, Vaswani et al.

论文链接：https://arxiv.org/pdf/1706.03762.pdf

图4 引入上下文信息帮助指代消解

另一篇论文Document Context Neural Machine Translation with Memory Networks中，作者将文档级的机器翻译任务视作结构预测问题，通过构造源语言端和目标语言端的两个记忆网络（memory networks），来存储源语言文档和目标语言文档中句子之间的依赖关系，解码器将记忆网络中的存储信息作为条件进行解码，模型结构如下图所示。通过这个方法，模型可以更好地利用上下文信息，帮助解码器更好地进行指代消解等。实验结果表明，该方法的性能相比之前的工作有显著提升。

图5 引入记忆网络的模型结构

Document Context Neural Machine Translation with Memory Networks, Maruf et al.

论文链接：https://arxiv.org/pdf/1711.03688.pdf

同时，本次大会依然有不少对注意力机制（attention）的研究。注意力机制自2014年提出，从起初针对RNN的attention，到后来针对CNN的attention，一直发展到最近的Transformer模型中的self-attention，注意力机制一直是业界的兴趣点之一。

在本次大会的一篇长文How Much Attention Do You Need? A Granular Analysis of Neural Machine Translation Architectures中，作者通过对不同模型的组件进行组合，对其中的注意力机制进行了详细的实验分析，得出了两个有趣的结论：

1、即使不用self-attention，通过借鉴Transformer模型中的一些设计思想，如采用multi-head attention、层归一化、增加前馈层等，RNN和CNN模型也能够达到Transformer的水平。

2、在源端采用self-attention要比在目标端采用更为重要，即使在目标端不采用self-attention，模型也可以达到不错的效果。

How Much Attention Do You Need? A Granular Analysis of Neural Machine Translation Architectures, Domhan

论文链接：http://aclweb.org/anthology/P18-1167

微软亚洲研究院在ACL 2018

微软亚洲研究院在今年ACL上的表现也可圈可点，共有6篇长文与2篇短文入选，涉及语法纠错、文本摘要、语义分析、机器翻译、聊天等多个任务。

1. Fluency Boost Learning and Inference for Neural Grammatical Error Correction. Tao Ge, Furu Wei, Ming Zhou.

本文针对语法纠错任务，提出了流畅度提升学习和推断方法，分别用于解决训练数据较少和句子错误太多时模型无法完全将句子纠正过来的问题。

论文链接：http://aclweb.org/anthology/P18-1097

2. Neural Document Summarization by Jointly Learning to Score and Select Sentences. Qingyu Zhou, Nan Yang, Furu Wei, Shaohan Huang, Ming Zhou, Tiejun Zhao.

本文针对文本摘要任务，提出了一种端到端的抽取式文本摘要模型，将选择策略集成到打分模型中，解决了此前抽取式文本摘要中句子打分和句子选择这两部分割裂的问题。

论文链接：https://arxiv.org/pdf/1807.02305.pdf

3. Retrieve, Rerank and Rewrite: Soft Template Based Neural Summarization. Ziqiang Cao, Wenjie Li, Sujian Li, Furu Wei.

此前，序列到序列的文本摘要方法只依赖原文本来产生摘要。本文受基于模板的文本摘要方法的启发，将已有摘要作为软模板（soft templates）来指导文本摘要的生成。

论文链接：http://www4.comp.polyu.edu.hk/~cszqcao/data/IRSum.pdf

4. Semantic Parsing with Syntax- and Table-Aware SQL Generation. Yibo Sun, Duyu Tang, Nan Duan, Jianshu Ji, Guihong Cao, Xiaocheng Feng, Bing Qin, Ting Liu, Ming Zhou.

本文通过考虑数据库表的结构和SQL语言的语法特征，提出了一种生成式模型将自然语言的查询语句映射为SQL语句，解决了之前此任务中逐词生成SQL语句的缺陷。

论文链接：https://arxiv.org/pdf/1804.08338.pdf

5. Triangular Architecture for Rare Language Translation. Shuo Ren, Wenhu Chen, Shujie Liu, Mu Li, Ming Zhou, Shuai Ma.

本文针对小语种翻译问题，设计了一种新颖的三角结构，引入大语种丰富的双语语料，通过EM算法来辅助提升小语种的翻译，解决了小语种翻译问题上数据稀疏的问题。

论文链接：https://arxiv.org/pdf/1805.04813.pdf

6. Using Intermediate Representations to Solve Math Word Problems. Danqing Huang, Jin-Ge Yao, Chin-Yew Lin, Qingyu Zhou, Jian Yin.

本文提出了一种中间语义表示方法，作为隐空间来辅助自然语言到数学方程的映射，解决了此前自然语言和数学方程直接映射时gap过大的问题。

论文链接：http://aclweb.org/anthology/P18-1039

7. Learning Matching Models with Weak Supervision for Response Selection in Retrieval-based Chatbots. Yu Wu, wei wu, Zhoujun Li, Ming Zhou.

本文提出了一种利用未标注数据来学习匹配模型（matching model）的方法，解决基于检索的聊天机器人中的回复选择问题。

论文链接：https://arxiv.org/pdf/1805.02333.pdf

8. Neural Open Information Extraction. Lei Cui, Furu Wei, Ming Zhou.

本文基于编码器-解码器架构，提出了神经开放信息抽取方法，用于解决此前开放信息抽取系统中由于采用手工模式特征（如语法分析）而导致的错误传播问题。

论文链接：https://arxiv.org/pdf/1805.04270.pdf

微软研究院AI头条

专注科研19年，盛产黑科技

产业ACL 2018NLP

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

神经机器翻译技术

2013 年，Nal Kalchbrenner 和 Phil Blunsom 提出了一种用于机器翻译的新型端到端编码器-解码器结构 [4]。该模型可以使用卷积神经网络（CNN）将给定的一段源文本编码成一个连续的向量，然后再使用循环神经网络（RNN）作为解码器将该状态向量转换成目标语言。他们的研究成果可以说是神经机器翻译（NMT）的诞生；神经机器翻译是一种使用深度学习神经网络获取自然语言之间的映射关系的方法。NMT 的非线性映射不同于线性的 SMT 模型，而且是使用了连接编码器和解码器的状态向量来描述语义的等价关系。此外，RNN 应该还能得到无限长句子背后的信息，从而解决所谓的「长距离重新排序（long distance reordering）」问题。

来源：机器之心

词嵌入技术

词嵌入是自然语言处理（NLP）中语言模型与表征学习技术的统称。概念上而言，它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中，每个单词或词组被映射为实数域上的向量。

来源：维基百科

时间递归神经网络技术

时间递归神经网络 (aka.循环神经网络, RNN) 是一类擅长处理序列数据的神经网络，其单元连接形成一个有向环。一般人工神经网络（ANN）由多层神经元组成，典型的连接方式是在前馈神经网络中，仅存在层与层之间的互相连接，而同层神经元之间没有连接。RNN在此基础上结合了隐藏层的循环连接，从而能从序列或时序数据中学习特征和长期依赖关系。RNN隐藏层的每一单独计算单元对应了数据中某个时间节点的状态，它可以是简单神经元、神经元层或各式的门控系统。每一单元通过参数共享的层间顺序连接，并随着数据序列传播。这一特性使得RNN中每一单元的状态都取决于它的过去状态，从而具有类似“记忆”的功能，可以储存并处理长时期的数据信号。大多数RNN能处理可变长度的序列，理论上也可以建模任何动态系统。

来源：Deep Learning Book

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集（或特征）的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的，这让「神经网络在执行预测任务时可以更多关注输入中的相关部分，更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时，源句子中仅有少部分是相关的；因此，可以应用一个基于内容的注意力机制来根据源句子动态地生成一个（加权的）语境向量（context vector）, 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

来源：机器之心

机器翻译技术

机器翻译（MT）是利用机器的力量「自动将一种自然语言（源语言）的文本翻译成另一种语言（目标语言）」。机器翻译方法通常可分成三大类：基于规则的机器翻译（RBMT）、统计机器翻译（SMT）和神经机器翻译（NMT）。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

监督学习技术

监督式学习（Supervised learning），是机器学习中的一个方法，可以由标记好的训练集中学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。训练集是由一系列的训练范例组成，每个训练范例则由输入对象（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）。

来源：Wikipedia

逻辑技术

人工智能领域用逻辑来理解智能推理问题；它可以提供用于分析编程语言的技术，也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑（Propositional Logic ）以及一阶逻辑（FOL）等谓词逻辑。

来源：机器之心

聊天机器人技术

聊天机器人是经由对话或文字进行交谈的计算机程序。能够模拟人类对话，通过图灵测试。聊天机器人可用于实用的目的，如客户服务或资讯获取。有些聊天机器人会搭载自然语言处理系统，但大多简单的系统只会撷取输入的关键字，再从数据库中找寻最合适的应答句。

来源：维基百科

查询技术

一般来说，查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域，查询指的是数据库和信息系统对信息检索的精确要求

来源：Wikipedia

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建立变量间的条件概率分布。

来源：维基百科

语法分析器技术

在计算机科学和语言学中，语法分析是根据某种给定的形式文法对由单词序列构成的输入文本进行分析并确定其语法结构的一种过程。语法分析器通常是作为编译器或解释器的组件出现的，它的作用是进行语法检查、并构建由输入的单词组成的数据结构。

来源：维基百科

信息抽取技术

信息/数据抽取是指从非结构化或半结构化文档中提取结构化信息的技术。信息抽取有两部分：命名实体识别（目标是识别和分类真实世界里的知名实体）和关系提取（目标是提取实体之间的语义关系）。概率模型/分类器可以帮助实现这些任务。

来源：机器之心

层归一化技术

深度神经网络的训练是具有高度的计算复杂性的。减少训练的时间成本的一种方法是对神经元的输入进行规范化处理进而加快网络的收敛速度。层规范化是在训练时和测试时对数据同时进行处理，通过对输入同一层的数据进行汇总，计算平均值和方差，来对每一层的输入数据做规范化处理。层规范化是基于批规范化进行优化得到的。相比较而言，批规范化是对一个神经元输入的数据以mini-batch为单位来进行汇总，计算平均值和方法，再用这个数据对每个训练样例的输入进行规整。层规范化在面对RNN等问题的时候效果更加优越，也不会受到mini-batch选值的影响。

来源：Ba J L, Kiros J R, Hinton G E. Layer Normalization

问答系统技术

问答系统是未来自然语言处理的明日之星。问答系统外部的行为上来看，其与目前主流资讯检索技术有两点不同：首先是查询方式为完整而口语化的问句，再来则是其回传的为高精准度网页结果或明确的答案字串。以Ask Jeeves为例，使用者不需要思考该使用什么样的问法才能够得到理想的答案，只需要用口语化的方式直接提问如“请问谁是美国总统？”即可。而系统在了解使用者问句后，会非常清楚地回答“奥巴马是美国总统”。面对这种系统，使用者不需要费心去一一检视搜索引擎回传的网页，对于资讯检索的效率与资讯的普及都有很大帮助。从系统内部来看，问答系统使用了大量有别于传统资讯检索系统自然语言处理技术，如自然语言剖析（Natural Language Parsing）、问题分类（Question Classification）、专名辨识（Named Entity Recognition）等等。少数系统甚至会使用复杂的逻辑推理机制，来区隔出需要推理机制才能够区隔出来的答案。在系统所使用的资料上，除了传统资讯检索会使用到的资料外（如字典），问答系统还会使用本体论等语义资料，或者利用网页来增加资料的丰富性。

来源：维基百科