魔王、小舟、杜伟报道

ACL 2020:微软摘得最佳论文,Bengio论文获时间检验奖,大陆论文量第二


在陆续放出时间检验奖、终身成就奖和杰出服务奖之后,ACL 2020 终于公布了今年的最佳论文奖。该奖项由来自微软研究院、华盛顿大学和加州大学欧文分校的研究者摘得,主题是与任务无关的 NLP 模型测试方法。

ACL 是自然语言处理领域的顶级会议,根据刚刚发布的最新版 Google Scholar Metrics,ACL 继续领跑计算语言学领域,h5 指数达到 135。

今年的 ACL 会议于本月 5 日至 10 日在线上召开。此次会议公布了最佳论文、最佳主题论文、最佳 demo 论文、时间检验奖等多个奖项。

此外,大会官方也介绍了今年的接收论文、热门研究主题等数据。

ACL 2020 共收到投稿 3429 篇,创下了 ACL 投稿数量的新纪录。此次会议共接收论文 779 篇,包括 571 篇长论文和 208 篇短论文,论文接收率为 22.7%。

接下来,我们看下 ACL 2020 的热门研究主题。

用于 NLP 的机器学习、对话与交互技术、机器翻译、信息提取和 NLP 应用是此次会议最热门的 5 个研究主题,每个都有超过 200 篇论文投稿。其中「用于 NLP 的机器学习」主题的论文投稿接近 300 篇(296)。

此外,大会公布了论文提交数量最多的 25 个国家或地区,中国大陆以 1084 篇的提交量位列第一,其次是美国。

从接收论文的数量看,排在前 5 位的国家或地区分别是:美国(305 篇),中国大陆(185 篇),英国(50 篇),德国(44 篇),日本(24 篇)。

接下来就是今天的重头戏——奖项了。

最佳论文奖

ACL 2020 最佳论文奖项由来自微软研究院、华盛顿大学、加州大学欧文分校的研究人员摘得,该研究提出了一种与任务无关的 NLP 模型测试方法。

论文链接:https://www.aclweb.org/anthology/2020.acl-main.442.pdf

简介:尽管衡量留出(held-out)准确率是评估模型泛化性能的主要方法,但它通常会高估 NLP 模型的性能,而其他评估模型的替代性方法要么专注于单项任务,要么只看特定行为。

受软件工程中行为测试原则的启发,这项研究提出了一种与任务无关的 NLP 模型测试方法——CheckList。CheckList 不仅包含一些通用语言能力和测试类型以促进全面的测试,还包括一个软件工具,能够快速生成大量不同测试案例。

研究人员在三项任务中测试了 CheckList 的效果,在商业化模型和 SOTA 模型中都发现了严重的问题。一项用户调查显示,负责商业化情感分析模型的团队在一个经过大量测试的模型中发现了新的 bug。而在另一项用户调查中,使用 CheckList 的 NLP 从业者创建的测试数量是未使用 CheckList 的两倍,发现的 bug 数量是后者的三倍

此外,大会还公布了最佳论文荣誉提名奖,共有两篇论文获得此奖项。

最佳主题论文奖

此次会议的最佳主题论文奖由来自美国华盛顿大学和德国萨尔大学的研究者摘得。

论文链接:https://www.aclweb.org/anthology/2020.acl-main.463/

简介:大型神经语言模型在许多 NLP 任务上获得成功。但是,该研究发现这些成功有时会被过度夸大。这些模型经常被描述成「理解」语言或者捕获语言的「意义」。该研究认为,仅接受形式训练的系统不具备学习语言意义的能力。在 ACL 2020 的主题「Taking Stock of Where We’ve Been and Where We’re Going」下,该研究认为,清晰地理解「形式」与「意义」的区别有助于引导该领域在自然语言理解层面有更科学的发展。

此外,会议还公布了最佳主题论文提名奖:

最佳 Demo 论文

论文链接:https://blender.cs.illinois.edu/paper/aidaacl2020demo.pdf

简介:这项研究提出了首个综合开源的多媒体知识提取系统,该系统可基于不同的内容源和语言提取大量非结构化异构多媒体数据,并遵循丰富细粒度本体,创建出连贯且结构化的知识库、索引实体、关系和事件。

该研究提出的系统 GAIA 可实现复杂图 query 的无缝搜索,并检索出文本、图像和视频等多媒体证据。GAIA 在近期的 NIST TAC SM-KBP2019 评估中实现了顶级性能。

  • GitHub 地址:https://github.com/GAIA-AIDA

  • 论文讲解视频:http://blender.cs.illinois.edu/aida/gaia.mp4


以下两篇论文获得了 ACL 2020 最佳 demo 论文荣誉提名奖:

除了最佳论文、最佳主题论文和最佳 Demo 论文之外,ACL 2020 还公布了时间检验奖、终身成就奖,以及杰出服务奖。

时间检验奖

ACL 2020 的时间检验奖(Test of Time Awards)颁给了 4 篇论文,其中 2 篇发表于 1995 年,经受住了 25 年的时间检验,另外两篇发表于 2010 年。

论文 1:Centering: A Framework for Modeling the Local Coherence of Discourse

  • 论文链接:https://www.aclweb.org/anthology/J95-2003.pdf

  • 论文作者:Barbara J. Grosz(哈佛大学)、Aravind K. Joshi(宾大)、Scott Weinstein(宾大)


这篇论文于 1995 年发表在 CL 上,被引用次数高达 2700 多次。

该论文是计算对话(computational discourse)领域最重要的论文之一,融合了理论语言学、心理语言学和形式语义学,展示了「语言学」在「计算语言学」中的力量。

论文 2:Unsupervised Word Sense Disambiguation Rivaling Supervised Methods

  • 论文链接:https://www.aclweb.org/anthology/P95-1026.pdf

  • 论文作者:David Yarowsky(宾大计算机与信息科学系)


这篇论文于 1995 年发表在 ACL 上,被引用次数也在 2700 次以上。

该论文开创性地将语言学假设和无监督学习融合起来,展示了统计数据驱动的技术在 NLP 领域中的强大作用。这篇论文探讨的问题——监督学习和无监督学习的性能差距、标注数据的成本,放到现在依旧不过时。

论文 3:Distributional Memory: A General Framework for Corpus-Based Semantics

  • 论文链接:https://www.mitpressjournals.org/doi/pdf/10.1162/coli_a_00016

  • 论文作者:Marco Baroni(特伦托大学)、Alessandro Lenci(比萨大学)


本文于 2010 年发表在 CL 上,被引用次数近 700 次。

该论文开创性地提倡词汇语义学的通用学得表征,提出自监督预训练方法(类似于 word2vec、BERT 中所使用的),促进了计算语义学、认知建模和语言学理论之间的联系。

论文 4:Word representations: A simple and general method for semi-supervised learning

  • 论文链接:https://www.aclweb.org/anthology/P10-1040.pdf

  • 论文作者:Joseph Turian(蒙特利尔大学)、Lev Ratinov(伊利诺伊大学厄巴纳 - 香槟分校)、Yoshua Bengio(蒙特利尔大学)


这篇论文于 2010 年发表在 ACL 上,被引用次数超过 2200 次。

该论文是将向量表示用于 NLP 任务的里程碑式著作。它在提出词嵌入方面早了大约五年,并首次在多项 NLP 任务上对比了 distributional 和 distributed(分布式)词表示,论文倡导的思想至今在 NLP 领域占据中心地位。

终身成就奖

大会将终身成就奖颁给了爱丁堡大学荣休教授 Bonnie Webber。ACL 组委会表示,该奖项旨在表彰她在篇章分析领域做出的杰出贡献。

1978 年,Bonnie Webber 在哈佛大学获得博士学位。之后在宾夕法尼亚大学任教多年,后进入爱丁堡大学任教。2016 年,她从爱丁堡大学退休,成为爱丁堡大学语言、认知和计算研究所智能系统的名誉教授。

Bonnie Webber 致力于篇章研究,参与了宾州篇章树库(Penn Discourse TreeBank)的开发

她的博士论文《A Formal Approach to Discourse Anaphora》使用形式逻辑对自然语言语句的意义进行建模。此外,Bonnie Webber 与人合著《模拟人类:计算机图形动画和控制》一书,并参与编写了《Elements of Discourse Understanding》、《Readings in Artificial Intelligence》等书籍。

Bonnie Webber 于 1980 年担任 ACL 主席,1991 年成为 AAAI Fellow,2004 年当选爱丁堡皇家学会会士。2012 年因其在篇章结构和基于篇章的解释方面的突出贡献,Bonnie Webber 被授予 ACL Fellow。在本届 ACL 大会上,她获得 ACL 终身成就奖。

出生于 1946 年,现年 74 岁的 Bonnie Webber 仍然笔耕不辍。从她的谷歌学术页面,我们可以看到她 2019 年参与的论文数量达 12 篇之多。

杰出服务奖

ACL 2020 将今年的杰出服务奖颁给了多伦多大学计算机语言学教授 Graeme Hirst。

Graeme Hirst 的研究兴趣为:计算机语言学自然语言处理,及其在医疗卫生、社会科学和人文科学中的应用。他是《Human Language Technologies》综合丛书的编辑,曾获得加拿大人工智能协会颁发的终身成就奖。

此外,Graeme Hirst 于 2004-05 年担任 ACL 北美分会的主席,2008-2017 年担任 ACL 财务主管,并于 2019 年成为 ACL Fellow。

ACL 主席 Hinrich Schutze 在颁奖时表示:「这些年来,Graeme Hirst 一直负责 ACL 的财务事宜,始终深入参与大会的组织流程等相关工作,为大会的顺利举办做出了突出贡献。感谢 Graeme Hirst 一直以来为 ACL 做出的贡献。」


理论微软自然语言处理最佳论文ACL 2020
相关数据
Microsoft机构

微软是美国一家跨国计算机科技公司,以研发、制造、授权和提供广泛的计算机软件服务为主。总部位于美国华盛顿州的雷德蒙德,最为著名和畅销的产品为Microsoft Windows操作系统和Microsoft Office办公室软件,以及Xbox的游戏业务。微软是美国《财富》杂志2015年评选的世界500强企业排行榜中的第95名。

https://www.microsoft.com/en-us/about
计算机图形技术

图像数据处理、计算机图像(英语:Computer Graphics)是指用计算机所创造的图形。更具体的说,就是在计算机上用专门的软件和硬件用来表现和控制图像数据。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

自然语言理解技术

自然语言理解是人工智能的核心课题之一,也被广泛认为是最困难和最具标志性的任务。最经典的两个人工智能思想实验——图灵测试和中文房间,都是围绕自然语言理解来构建的。自然语言理解在人工智能技术体系中的重要性不言而喻,它一方面承载着机器和人的交流,另一方面直达知识和逻辑。自然语言理解也是人工智能学者孜孜以求的圣杯,机器学习的巨擘 Michael I. Jordan 就曾经在 Reddit 上的 AMA(Ask Me Anything)栏目中畅想用十亿美元建立一个专门用于自然语言理解的实验室。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

词嵌入技术

词嵌入是自然语言处理(NLP)中语言模型与表征学习技术的统称。概念上而言,它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中,每个单词或词组被映射为实数域上的向量。

知识库技术

知识库是用于知识管理的一种特殊的数据库,以便于有关领域知识的采集、整理以及提取。知识库中的知识源于领域专家,它是求解问题所需领域知识的集合,包括基本事实、规则和其它有关信息。

机器翻译技术

机器翻译(MT)是利用机器的力量「自动将一种自然语言(源语言)的文本翻译成另一种语言(目标语言)」。机器翻译方法通常可分成三大类:基于规则的机器翻译(RBMT)、统计机器翻译(SMT)和神经机器翻译(NMT)。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

监督学习技术

监督式学习(Supervised learning),是机器学习中的一个方法,可以由标记好的训练集中学到或建立一个模式(函数 / learning model),并依此模式推测新的实例。训练集是由一系列的训练范例组成,每个训练范例则由输入对象(通常是向量)和预期输出所组成。函数的输出可以是一个连续的值(称为回归分析),或是预测一个分类标签(称作分类)。

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

word2vec技术

Word2vec,为一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络,用来训练以重新建构语言学之词文本。网络以词表现,并且需猜测相邻位置的输入词,在word2vec中词袋模型假设下,词的顺序是不重要的。 训练完成之后,word2vec模型可用来映射每个词到一个向量,可用来表示词对词之间的关系。该向量为神经网络之隐藏层。 Word2vec依赖skip-grams或连续词袋(CBOW)来建立神经词嵌入。Word2vec为托马斯·米科洛夫(Tomas Mikolov)在Google带领的研究团队创造。该算法渐渐被其他人所分析和解释。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

神经语言模型技术

语言模型是估计单词序列的联合概率函数,比如给一个长度为m的单词序列,通过使用语言模型,可以获得这m个单词分布的概率P(W1,...,Wm)。对于许多的自然语言处理的应用,可以估计不同短语的概率是极具应用价值的。语言模型可以应用于语音识别,机器翻译,语音标记,解析,手写识别,信息检索等领域。

语义学技术

语义学,也作“语意学”,是一个涉及到语言学、逻辑学、计算机科学、自然语言处理、认知科学、心理学等诸多领域的一个术语。虽然各个学科之间对语义学的研究有一定的共同性,但是具体的研究方法和内容大相径庭。语义学的研究对象是自然语言的意义,这里的自然语言可以是词汇,句子,篇章等等不同级别的语言单位。

语言学技术

每种人类语言都是知识和能力的复合体,语言的使用者能够相互交流,表达想法,假设,情感,欲望以及所有其他需要表达的事物。语言学是对这些知识体系各方面的研究:如何构建这样的知识体系,如何获取,如何在消息的制作和理解中使用它,它是如何随时间变化的?语言学家因此关注语言本质的一些特殊问题。比如: 所有人类语言都有哪些共同属性?语言如何不同,系统的差异程度如何,我们能否在差异中找到模式?孩子如何在短时间内获得如此完整的语言知识?语言随时间变化的方式有哪些,语言变化的局限性是什么?当我们产生和理解语言时,认知过程的本质是什么?语言学研究的就是这些最本质的问题。

本体技术

在计算机科学和信息科学中,本体包括表示、正式命名和定义概念,数据,实体之间的类别,属性和关系,并在一个,多个或所有域实例中。

推荐文章
暂无评论
暂无评论~