机器之心编辑部 专知作者

EMNLP 2018 | 最佳论文出炉:谷歌、Facebook、CMU上榜

EMNLP 是自然语言处理领域顶级国际会议,每年吸引世界各国近千名学者交流自然语言处理发展前沿。2018 年度 EMNLP 大会将于 10 月 31 日 - 11 月 4 日在比利时布鲁塞尔举办。昨日 EMNLP 2018 公布了两篇最佳长论文、一篇最佳短论文以及一篇最佳资源论文。

EMNLP 是自然语言处理领域的顶级国际会议,每年吸引世界各国近千名学者交流自然语言处理发展前沿,前几年长文的录用率只有 26% 左右:

昨日 EMNLP 在官方 Twitter 上公布了两篇最佳长论文、一篇最佳短论文、一篇最佳资源论文,获奖论文详细信息如下:

最佳长论文

1. 论文:Linguistically-Informed Self-Attention for Semantic Role Labeling

论文地址:https://arxiv.org/abs/1804.08199 (http://www.zhuanzhi.ai/paper/87964e6ae3d40f170d2934d9cca009af)

摘要:当前最先进的语义角色标记(SRL)使用深度神经网络而没有明确的语言特征。但是,之前的工作表明,语法树可以显著改善 SRL 解码,这表明通过显式语法建模可以提高准确性。在这项工作中,我们提出了基于语言学的 self-attention(LISA):一种神经网络模型,它将 multi-head self-attention 与多任务学习相结合,包括依赖解析、词性标注、谓词检测和语义角色标记。与先前需要大量预处理来准备语言特征的模型不同,LISA 可以仅使用原始的 token 对序列进行一次编码,来同时执行多个预测任务。语法信息被用来训练一个 attention head 来关注每个 token 语法上的父节点。如果已经有高质量的语法分析,则可以在测试时进行有益的注入,而无需重新训练我们的 SRL 模型。在 CoNLL-2005 SRL 数据集上,LISA 在谓词预测、word embedding 任务上比当前最好的算法在 F1 值上高出了 2.5(新闻专线数据)和 3.5 以上(其他领域数据),减少了约 10% 的错误。在 ConLL-2012 英文角色标记任务上,我们的方法也获得了 2.5 F1 值的提升。LISA 同时也比当前最好的基于上下文的词表示学习方法(ELMo)高出了 1.0 的 F1(新闻专线数据)和多于 2.0 的 F1(其他领域数据)。

2. 论文:Phrase-Based & Neural Unsupervised Machine Translation

  • 论文地址:https://arxiv.org/abs/1804.07755

  • 代码地址:https://github.com/facebookresearch/UnsupervisedMT

摘要机器翻译系统在某些语言上实现了接近人类的能力,但它的性能依赖于大量的平行双语语料,这降低了机器翻译的适用性。本研究探讨了如何在只有大规模单语种语料库的情况下进行机器翻译。我们提出了两个模型(变式),一个基于神经网络和一个基于短语的模型。两个模型都使用了精心设计的参数初始化、语言模型的降噪和基于迭代反向翻译的并行预料生成。这些模型优于引用文献中的方法,而且更简单、具有更少的超参数。在广泛使用的 WMT'14 English - French 和 WMT'16German - English 基准测试中,我们的模型分别获得了 28.1 和 25.2 BLEU 点(在不使用平行预料的情况下),比当前最好的方法高出了 11 个 BLEU 点。在资源较少的语言如 English-Urdu 何 English-Romanian 中,我们的方法甚至比利用短缺的 bitexts 的半监督和监督方法要好。我们的 NMT 和 PBSMT 代码现在已经公开了。

更多内容请参见:学界 | FAIR 新一代无监督机器翻译:模型更简洁,性能更优

最佳短论文

论文:How Much Reading Does Reading Comprehension Require? A Critical Investigation of Popular Benchmarks. 


论文地址:https://arxiv.org/pdf/1808.04926.pdf

摘要:最近在阅读理解问题上有很多研究,它们一般都包含 (question, passage, answer) 元组。大概而言,阅读理解模型必须结合来自问题和文章的信息以预测对应的回答。然而,尽管这一主题非常受关注,且有数百篇论文都希望更好地解决该问题,但许多流行基准的测试难度问题仍未得到解决。在本论文中,我们为 bAbI、SQuAD、CBT、CNN 和 Whodid-What 数据集建立了合理的基线模型,并发现仅带有问题或文章的模型通常有更好的表现。在 20 个 bAbI 任务的 14 个中,仅带有文章的模型实现了高达 50% 的准确度,它有时能与全模型的性能相匹配。有趣的是,虽然 CBT 提供了 20-sentence 的故事,但只有最后一句能进行相对准确的预测。

最佳资源论文

最佳资源论文的链接暂未公开,获奖论文信息如下:

  • 论文标题:MultiWOZ - A Large-Scale Multi-Domain Wizard-of-Oz Dataset for Task-Oriented Dialogue Modelling

  • 作者:Paweł Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, Iñigo Casanueva, Stefan Ultes, Osman Ramadan,Milica Gasic 

  • 参考资料:https://github.com/lixin4ever/Conference-Acceptance-Rate 

理论最佳论文EMNLP 2018
1
相关数据
基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

超参数技术

在机器学习中,超参数是在学习过程开始之前设置其值的参数。 相反,其他参数的值是通过训练得出的。 不同的模型训练算法需要不同的超参数,一些简单的算法(如普通最小二乘回归)不需要。 给定这些超参数,训练算法从数据中学习参数。相同种类的机器学习模型可能需要不同的超参数来适应不同的数据模式,并且必须对其进行调整以便模型能够最优地解决机器学习问题。 在实际应用中一般需要对超参数进行优化,以找到一个超参数元组(tuple),由这些超参数元组形成一个最优化模型,该模型可以将在给定的独立数据上预定义的损失函数最小化。

词性标注技术

词性标注是指为分词结果中的每个单词标注一个正确的词性的程序,也即确定每个词是名词、动词、形容词或其他词性的过程。

机器翻译技术

机器翻译(MT)是利用机器的力量「自动将一种自然语言(源语言)的文本翻译成另一种语言(目标语言)」。机器翻译方法通常可分成三大类:基于规则的机器翻译(RBMT)、统计机器翻译(SMT)和神经机器翻译(NMT)。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

语料库技术

语料库一词在语言学上意指大量的文本,通常经过整理,具有既定格式与标记;事实上,语料库英文 "text corpus" 的涵意即为"body of text"。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

多任务学习技术

语法分析器技术

在计算机科学和语言学中,语法分析是根据某种给定的形式文法对由单词序列构成的输入文本进行分析并确定其语法结构的一种过程。 语法分析器通常是作为编译器或解释器的组件出现的,它的作用是进行语法检查、并构建由输入的单词组成的数据结构。

深度神经网络技术

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

推荐文章
暂无评论
暂无评论~