Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

魔王、杜伟、小舟编辑

UC伯克利摘最佳论文、Hugging Face获最佳demo,EMNLP 2020奖项公布

刚刚,正在进行中的 EMNLP 2020 大会公布了一系列奖项,其中最佳论文奖由加州大学伯克利分校的研究者获得,爱丁堡大学华人博士生 Yanpeng Zhao 为一作的论文获得了最佳论文荣誉提名奖(共 4 篇论文获此奖项)。另外,本届大会的最佳 Demo 奖由大家非常熟悉的 Hugging Face 团队摘得。

EMNLP 是国际语言学会(ACL)下属的 SIGDAT 小组主办的自然语言处理领域的顶级国际会议,每年举办一次。受疫情影响,今年的 EMNLP 会议以线上形式举行。

EMNLP 2020 共收到投稿 3677 篇,其中有效投稿为 3359 篇,接收论文数量为 752 篇,包括长论文 602 篇、短论文 150 篇。

从接收率看,EMNLP 2020 的论文接受率创下新低,为 22.4%。其中长论文接收率为 24.6%,短论文接收率为 16.6%。

根据大会公布信息,美国、中国、英国、德国、印度、加拿大、日本的论文投稿量最多,中美两国均有 1000 余篇论文投稿。而就各国论文接收率而言,英国、新加坡和丹麦的论文接收率名列前茅,中国的论文接收率仅有 13.2%,低于大会平均接收率。

另外,我们参考了 Aminer 平台对于 EMNLP 2020 会议的统计数据。从热门选题来看,EMNLP 2020 会议涉及了语言模型神经机器翻译文本生成等主题:

据 Aminer 统计,入选 EMNLP2020 论文最多的学者是来自阿里巴巴达摩院的邴立东和来自 Salesforce AI 研究院的 Caiming Xiong,分别有 9 篇论文入选。此外,新加坡科技设计大学陆巍教授、清华大学刘知远教授、哈尔滨工业大学刘挺教授、伊利诺伊大学韩家炜教授、复旦大学黄萱菁教授、微软亚洲研究院周明博士等人的论文数量位居前列。

图源:https://www.aminer.cn/conf/emnlp2020/papers

目前,EMNLP 2020 会议颁发了最佳论文奖、最佳论文荣誉提名奖、最佳 demo 奖多个奖项。

最佳论文

今年的最佳论文奖项颁发给了加州大学伯克利分校的研究《Digital Voicing of Silent Speech》。

  • 论文链接:https://www.aclweb.org/anthology/2020.emnlp-main.445.pdf

  • 作者:David Gaddy、Dan Klein(加州大学伯克利分校)


在最佳论文中,来自加州大学伯克利分校的研究者们探究了无声语音的数字化发声任务,其中基于捕获肌肉冲动的肌电图(EMG)传感器度量,将无声口语单词转换为可听语音。尽管此前已经有利用有声语音期间收集的 EMG 训练语音合成模型的研究,但该研究首次利用了在无声发音期间收集的 EMG 进行训练。

模型中所使用数据的三个组成部分。

具体而言,研究者提出了一种通过将音频目标从有声信号转换为无声信号来对无声 EMG 进行训练的方法。与仅使用有声数据进行训练的基线方法相比,该方法显著提升了从无声 EMG 中生成音频的清晰度。在某种数据条件下,该方法将转录词误差率从 64% 降至 4%;另一种数据条件下,转录词误差率从 88% 降至 68%。为了促进这一研究任务的进一步发展,该研究已经共享了无声和有声面部 EMG 度量的新数据集。

最佳论文荣誉提名奖

这次会议共有四篇论文获得最佳论文荣誉提名奖。其中包括华人作者 Yanpeng Zhao 及其导师 Ivan Titov 的论文《Visually Grounded Compound PCFGs》。据了解,这篇论文获得了 4.5/5, 4.5/5, 4.5/5 的评审分数。

  • 论文:Visually Grounded Compound PCFGs

  • 论文链接:https://arxiv.org/pdf/2009.12404.pdf

  • 项目地址:https://github.com/zhaoyanpeng/vpcfg

  • 作者:Yanpeng Zhao、Ivan Titov(爱丁堡大学)


  • 论文:Spot The Bot: A Robust and Efficient Framework for the Evaluation of Conversational Dialogue Systems

  • 论文链接:https://arxiv.org/pdf/2010.02140v1.pdf

  • 作者:Jan Deriu、Don Tuggener、Pius von Daniken、Mark Cieliebak(苏黎世应用科技大学)、Alvaro Rodrigo(西班牙国立远程教育大学)、Jon Ander Campos、Aitor Soroa、Aitor Soroa(西班牙巴斯克大学)、Thiziri Belkacem(法国 Synapse Développement)


  • 论文:GLUCOSE: GeneraLized and COntextualized Story Explanations

  • 论文链接:https://arxiv.org/pdf/2009.07758.pdf

  • 作者:Nasrin Mostafazadeh、Aditya Kalyanpur、Lori Moon、David Buchanan、Lauren Berkowitz、Or Biran、Jennifer Chu-Carroll(Elemental Cognition 团队)


  • 论文:If beam search is the answer, what was the question?

  • 论文链接:https://arxiv.org/pdf/2010.02650.pdf

  • 作者:Clara Meister(苏黎世联邦理工学院)、Tim Vieira(美国约翰霍普金斯大学)、Tim Vieira(剑桥大学)


最佳 demo 论文

此外,EMNLP 2020 还颁发了最佳 demo 论文,获奖团队是大家非常熟悉的 Hugging Face。

  • 论文链接:https://arxiv.org/pdf/1910.03771.pdf

  • transformers 库地址:https://github.com/huggingface/transformers

  • 作者:Thomas Wolf、Lysandre Debut、Victor Sanh、Julien Chaumond、Clement Delangue、Anthony Moi、Pierric Cistac、Tim Rault、Remi Louf、Morgan Funtowicz、Joe Davison、Sam Shleifer、Patrick von Platen、Clara Ma、Yacine Jernite、Julien Plu、Canwen Xu、Teven Le Scao、Sylvain Gugger、Mariama Drame、Quentin Lhoest、Alexander M. Rush(Hugging Face 团队)

模型架构和预训练的发展促进了自然语言处理领域近期的进展:Transformer 架构推动了更高容量模型的构建,预训练使得在大量任务中高效利用模型容量成为可能。Hugging Face 团队创建了 transformers 开源库,旨在将这些 NLP 进展开放给更广泛的机器学习社区。该库包含多个精心设计的 SOTA Transformer 架构,并使用统一的 API。transformers 库汇集了社区构建的多个预训练模型,并向社区开放。目前,该库的 star 量高达 36.9K,包含数千个预训练模型。

参考链接:
https://2020.emnlp.org/blog/2020-11-19-best-papers
https://2020.emnlp.org/blog/2020-09-18-decisions/
https://www.aminer.cn/conf/emnlp2020/homepage



理论EMNLP 2020最佳论文ACLNLP
相关数据
微软亚洲研究院机构

微软亚洲研究院于1998年在北京成立,是微软公司在亚太地区设立的基础及应用研究机构,也是微软在美国本土以外规模最大的一个研究院。微软亚洲研究院从事自然用户界面、智能多媒体、大数据与知识挖掘、人工智能、云和边缘计算、计算机科学基础等领域的研究,致力于推动计算机科学前沿发展,着眼下一代革命性技术的创新,助力微软实现长远发展战略。

http://www.msra.cn
清华大学机构

清华大学(Tsinghua University),简称“清华”,由中华人民共和国教育部直属,中央直管副部级建制,位列“211工程”、“985工程”、“世界一流大学和一流学科”,入选“基础学科拔尖学生培养试验计划”、“高等学校创新能力提升计划”、“高等学校学科创新引智计划”,为九校联盟、中国大学校长联谊会、东亚研究型大学协会、亚洲大学联盟、环太平洋大学联盟、清华—剑桥—MIT低碳大学联盟成员,被誉为“红色工程师的摇篮”。 清华大学的前身清华学堂始建于1911年,因水木清华而得名,是清政府设立的留美预备学校,其建校的资金源于1908年美国退还的部分庚子赔款。1912年更名为清华学校。1928年更名为国立清华大学。1937年抗日战争全面爆发后南迁长沙,与北京大学、南开大学组建国立长沙临时大学,1938年迁至昆明改名为国立西南联合大学。1946年迁回清华园。1949年中华人民共和国成立,清华大学进入了新的发展阶段。1952年全国高等学校院系调整后成为多科性工业大学。1978年以来逐步恢复和发展为综合性的研究型大学。

http://www.tsinghua.edu.cn/
相关技术
复旦大学机构

复旦大学(Fudan University),简称“复旦”,位于中国上海,由中华人民共和国教育部直属,中央直管副部级建制,国家双一流(A类)、985工程、211工程建设高校,入选珠峰计划、111计划、2011计划、卓越医生教育培养计划、卓越法律人才教育培养计划、国家建设高水平大学公派研究生项目,九校联盟(C9)、中国大学校长联谊会、东亚研究型大学协会、环太平洋大学协会的重要成员,是一所世界知名、国内顶尖的全国重点大学。

相关技术
周明人物

周明博士,微软亚洲研究院副院长、国际计算语言学协会(ACL)候任主席、中国计算机学会理事、中文信息技术专委会主任、术语工作委员会主任、中国中文信息学会常务理事、哈尔滨工业大学、天津大学、南开大学、山东大学等多所学校博士导师。 周明博士1985年毕业于重庆大学,1991年获哈尔滨工业大学博士学位。1991-1993年清华大学博士后,随后留校任副教授。1996-1999访问日本高电社公司领导中日机器翻译研究。他是中国第一个中英翻译系统CEMT-I(哈工大1989年)、日本最有名的中日机器翻译产品J-北京(日本高电社1998年)的研制者。 1999年,周明博士加入微软亚洲研究院,不久开始负责自然语言研究组。他带领团队进行了微软输入法、英库词典(必应词典)、中英翻译、微软中国文化系列(微软对联、微软字谜、微软绝句)等重要产品和项目的研发,并对微软Office、必应搜索、Windows等产品中的自然语言技术做出了重要贡献。近年来,周明博士领导研究团队与微软产品组合作开发了微软小冰(中国)、Rinna(日本)、Zo(美国)等聊天机器人系统。 周明博士发表了120余篇重要会议和期刊论文(包括50篇以上的ACL文章),拥有国际发明专利40余项。他多年来通过微软与中国和亚太地区的高校合作计划,包括微软-高校联合实验室、微软实习生计划、微软-高校联合培养博士生计划、青年教师铸星培养计划,与高校和学术组织联合举办暑期学校和学术会议等多种形式,对推动自然语言处理在中国和亚太的卓越发展做出了杰出贡献。

刘挺人物

哈工大人工智能研究院副院长,国内NLP方向领军人物。

刘知远人物

刘知远,清华大学计算机系副教授、博士生导师。主要研究方向为表示学习、知识图谱和社会计算。2011 年获得清华大学博士学位,已在 ACL、IJCAI、AAAI 等人工智能领域的著名国际期刊和会议发表相关论文 60 余篇,Google Scholar 统计引用超过 2100 次。承担多项国家自然科学基金。曾获清华大学优秀博士学位论文、中国人工智能学会优秀博士学位论文、清华大学优秀博士后、中文信息学会青年创新奖,入选中国科学青年人才托举工程、CCF-Intel 青年学者提升计划。担任中文信息学会青年工作委员会执委、副主任,中文信息学会社会媒体处理专委会委员、秘书,SCI 期刊 Frontiers of Computer Science 青年编委,ACL、COLING、IJCNLP 领域主席。

韩家炜人物

韩家炜,美国伊利诺伊大学香槟分校计算机系教授,IEEE和ACM院士,美国信息网络学术研究中心主任。曾担任KDD、SDM和ICDM等国际知名会议的程序委员会主席,创办了ACM TKDD学报并任主编。在数据挖掘、数据库和信息网络领域发表论文600余篇。

相关技术
机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

神经机器翻译技术

2013 年,Nal Kalchbrenner 和 Phil Blunsom 提出了一种用于机器翻译的新型端到端编码器-解码器结构 [4]。该模型可以使用卷积神经网络(CNN)将给定的一段源文本编码成一个连续的向量,然后再使用循环神经网络(RNN)作为解码器将该状态向量转换成目标语言。他们的研究成果可以说是神经机器翻译(NMT)的诞生;神经机器翻译是一种使用深度学习神经网络获取自然语言之间的映射关系的方法。NMT 的非线性映射不同于线性的 SMT 模型,而且是使用了连接编码器和解码器的状态向量来描述语义的等价关系。此外,RNN 应该还能得到无限长句子背后的信息,从而解决所谓的「长距离重新排序(long distance reordering)」问题。

语音合成技术

语音合成,又称文语转换(Text to Speech)技术,是将人类语音用人工的方式所产生,能将任意文字信息实时转化为标准流畅的语音朗读出来,相当于给机器装上了人工嘴巴。它涉及声学、语言学、数字信号处理、计算机科学等多个学科技术,是信息处理领域的一项前沿技术,解决的主要问题就是如何将文字信息转化为可听的声音信息,也即让机器像人一样开口说话。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

阿里巴巴机构

阿里巴巴网络技术有限公司(简称:阿里巴巴集团)是以曾担任英语教师的马云为首的18人于1999年在浙江杭州创立的公司。

https://www.alibabagroup.com/
文本生成技术

文本生成是生成文本的任务,其目的是使人类书写文本难以区分。

语言学技术

每种人类语言都是知识和能力的复合体,语言的使用者能够相互交流,表达想法,假设,情感,欲望以及所有其他需要表达的事物。语言学是对这些知识体系各方面的研究:如何构建这样的知识体系,如何获取,如何在消息的制作和理解中使用它,它是如何随时间变化的?语言学家因此关注语言本质的一些特殊问题。比如: 所有人类语言都有哪些共同属性?语言如何不同,系统的差异程度如何,我们能否在差异中找到模式?孩子如何在短时间内获得如此完整的语言知识?语言随时间变化的方式有哪些,语言变化的局限性是什么?当我们产生和理解语言时,认知过程的本质是什么?语言学研究的就是这些最本质的问题。

达摩院机构

阿里巴巴达摩院(The Academy for Discovery, Adventure, Momentum and Outlook,Alibaba DAMO Academy)成立于2017年10月11日,是一家致力于探索科技未知,以人类愿景为驱动力的研究院,是阿里在全球多点设立的科研机构,立足基础科学、颠覆性技术和应用技术的研究。阿里巴巴达摩院由三大主体组成,一是在全球建设的自主研究中心;二是与高校和研究机构建立的联合实验室;三是全球开放研究项目-阿里巴巴创新研究计划(AIR计划)。

https://damo.alibaba.com/
暂无评论
暂无评论~