Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

陈萍、杜伟报道

伯克利摘得最佳论文,陈丹琦、杨笛一等华人团队获杰出论文,ACL2022奖项公布

刚刚,NLP 领域国际顶会 ACL2022 公布获奖论文信息,其中加州大学伯克利分校的增量句法表示研究被评为最佳论文。此外,最佳主题论文、杰出论文也揭晓。

ACL 是计算语言学自然语言处理领域的顶级国际会议,由国际计算语言学协会组织,每年举办一次。一直以来,ACL 在 NLP 领域的学术影响力都位列第一,它也是 CCF-A 类推荐会议。今年的 ACL 大会已是第 60 届,将于 5 月 22-5 月 27 在爱尔兰都柏林举办。

2 月 24 日,ACL 2022 录用结果公布。本届大会主会议共接收了 604 篇长论文和 97 篇短论文(以 ACL 2022 公布的论文列表查询为准)。

刚刚,大会官方公布了最佳论文、最佳主题论文、杰出论文以及最佳资源论文和最佳语言洞察力论文。其中,加州大学伯克利分校的获得最佳论文奖,加拿大国家研究委员会、爱丁堡大学等机构的研究者获得最佳主题论文奖。此外,多位华人学者参与的研究被评为杰出论文,包括陈丹琦、杨笛一等的研究。

最佳论文

ACL 2022 的最佳论文(Best Paper)来自加州大学伯克利分校研究团队,该研究提出了一种增量句法表示,与当前的 SOTA 解析模型相当。
  • 题目:Learned Incremental Representations for Parsing

  • 作者:Nikita Kitaev, Thomas Lu 、Dan Klein

  • 机构:加州大学伯克利分校

  • 链接:https://aclanthology.org/2022.acl-long.220.pdf

摘要:该研究提出了一种增量句法表示,该表示包括为句子中的每个单词分配一个离散标签,其中标签是使用句子前缀的严格增量处理来预测的,并且句子标签序列完全确定了解析树。该研究旨在诱导一种句法表示,它只在句法选择由输入逐渐显示时才确定这些选择,这与标准表示形成鲜明对比,标准表示必须进行输出选择,例如推测性的附件,然后抛出相互冲突的分析。

该研究学习的表示在 Penn Treebank 上达到了 93.72 F1,且每个单词只有 5 bit;在每个单词为 8 bit 时,该研究在 Penn Treebank 上达到了 94.97 F1,这和使用相同的预训练嵌入时的 SOTA 解析模型相当。该研究还对系统学习到的表示进行了分析,他们研究了系统捕获的可解释句法特征等属性,以及句法歧义的延迟解决机制。

最佳主题论文

今年的最佳主题论文(Best Special Theme Paper )研究来自加拿大国家研究委员会、爱丁堡大学、皇后大学等机构研究者,他们主要研究为低资源语音合成相关技术。
  • 标题:Requirements and Motivations of Low-Resource Speech Synthesis for Language Revitalization

  • 作者:Aidan Pine, Dan Wells, Nathan Brinklow, Patrick William Littell 、Korin Richmond

  • 机构:加拿大国家研究委员会、爱丁堡大学、皇后大学

  • 链接:https://aclanthology.org/2022.acl-long.507.pdf

摘要:该研究阐述了语音合成系统的发展动机和目的,以振兴语言。通过为加拿大使用的三种土著语言 (Kanien 'kéha, Gitksan 和 SENĆOŦEN) 构建语音合成系统,该研究重新评估了需要多少数据才能构建具有 SOTA 性能的低资源语音合成系统。例如,该研究在英语数据的初步结果表明,在训练数据上训练 1 小时的 FastSpeech2 模型可以产生与训练 10 小时的 Tacotron2 模型语音自然度相当。最后,该研究们鼓励在语音合成领域进行评估和课堂整合来进行未来研究,以实现语言复兴。

八篇杰出论文

本届会议还评出了八篇杰出论文(Outstanding Papers),佐治亚理工学院交互计算学院助理教授杨笛一(Diyi Yang)、普林斯顿大学计算机科学系助理教授陈丹琦等人的研究在列。

论文 1:Evaluating Factuality in Text Simplification
  • 作者:Ashwin Devaraj、William Berkeley Sheffield、Byron C Wallace、Junyi Jessy Li

  • 机构:德克萨斯大学奥斯汀分校、东北大学

  • 论文地址:https://arxiv.org/pdf/2204.07562.pdf

摘要:自动简化模型旨在使输入文本更具可读性,但此类模型会在自动简化的文本中引入错误。因此,研究者提出了一种错误分类法,用来分析从标准简化数据集和 SOTA 模型输出中提出的参考资料。

论文 2:Online Semantic Parsing for Latency Reduction in Task-Oriented Dialogue
  • 作者:Jiawei Zhou、Jason Eisner、Michael Newman、Emmanouil Antonios Platanios、Sam Thomson

  • 机构:哈佛大学、微软

  • 论文地址:https://aclanthology.org/2022.acl-long.110.pdf

摘要:标准对话语义解析将完整的用户话语映射到可执行程序中,然后执行该程序以响应用户,速度可能很慢。研究者过在用户仍在说话时预测和执行函数调用来减少延迟的机会,并引入了在线语义解析任务,采用受同步机器翻译启发的规范延迟减少指标。此外,他们还提出了一个通用框架。

论文 3:Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation
  • 作者:Xiangpeng Wei、Heng Yu、Yue Hu、Rongxiang Weng、Weihua Luo、Rong Jin

  • 机构:阿里达摩院、中科院信息工程研究所、中国科学院大学

  • 论文地址:https://arxiv.org/pdf/2204.06812v1.pdf

摘要:监督神经机器翻译(NMT)的主要任务是学习生成以来自一组并行句子对的源输入为条件的目标句子,从而得到一个能够泛化到未见过实例的模型。然而,通常观察到模型的泛化性能很大程度上受训练中使用的并行数据量的影响。研究者提出了一种新的数据增强范式,称之为连续语义增强(Continuous Semantic Augmentation, CsaNMT),它为每个训练实例增加了一个邻接语义区域。

论文 4:Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity
  • 作者:Yao Lu、Max Bartolo、Alastair Moore、Sebastian Riedel、Pontus Stenetorp

  • 机构:伦敦大学学院、Mishcon de Reya LLP

  • 论文地址:https://arxiv.org/pdf/2104.08786v2.pdf

摘要:当仅使用少量训练样本启动时,与完全监督、微调、大型、预训练的语言模型相比,GPT-3 等超大预训练语言模型展现出具有竞争力的结果。研究者证明了提供样本的顺序可以在接近 SOTA 和随机猜测性能之间产生差异:本质上,一些排列很棒,而另一些则不是。他们分析了这一现象,分析它存在于模型大小方面,与特定的样本子集无关,并且一个模型的给定良好排列不能转移到另一个模型。

因此,研究者利用语言模型的生成特性来构建一个人工开发集,并基于该集上候选排列的熵统计确定性能提示。他们的方法在 11 个不同的已建立文本分类任务中为 GPT 系列模型产生了 13% 的相对改进。

论文 5:Inducing Positive Perspectives with Text Reframing
  • 作者:Caleb Ziems、Minzhi Li、Anthony Zhang、Diyi Yang

  • 机构:佐治亚理工学院、新加坡国立大学

  • 论文地址:https://arxiv.org/pdf/2204.02952v1.pdf

摘要:该研究引入了积极重构任务,在该任务中,该研究消除消极观点并为作者生成更积极的观点,而不会与原始含义相矛盾。为了促进快速进展,该研究引入了一个大规模的基准,积极心理学框架(POSITIVE PSYCHOLOGY FRAMES),其具有 8349 个句子对和 12755 个结构化注释,以根据六种理论动机的重构策略来解释积极重构。 

在四位作者中,杨笛一(Diyi Yang)是佐治亚理工学院交互计算学院助理教授。

论文 6:Ditch the Gold Standard: Re-evaluating Conversational Question Answering
  • 作者:Huihan Li、高天宇、Manan Goenka、陈丹琦

  • 机构:普林斯顿大学

  • 论文地址:https://arxiv.org/pdf/2112.08812v2.pdf

摘要:在这项工作中,该研究对 SOTA 对话式 QA 系统进行了首次大规模的人类评估,其中人类评估员与模型进行对话,并判断其答案的正确性。该研究发现人机(humanmachine)对话的分布与人 - 人(human-human )对话的分布有很大的不同,在模型排名方面,人类评估和黄金历史(goldhistory)评估存在分歧。该研究进一步研究了如何改进自动评估,并提出了一种基于预测历史的问题重写机制,该机制可以与人类判断更好地关联。最后,该研究分析了各种建模策略的影响,并讨论了构建更好的对话式问答系统的未来方向。

论文作者之一为普林斯顿大学博士二年级学生高天宇,师从该校计算机科学系助理教授陈丹琦。

论文 7:Active Evaluation: Efficient NLG Evaluation with Few Pairwise Comparisons
  • 作者:Akash Kumar Mohankumar、Mitesh M Khapra

  • 机构:微软、印度理工学院马德拉斯分校

  • 论文地址:https://arxiv.org/pdf/2203.06063v2.pdf

摘要:在这项工作中,该研究引入了主动评估,在 13 个 NLG 评估数据集上使用 13 个 dueling bandits 算法进行了广泛的实验,涵盖 5 个任务,实验表明人工注释的数量可以减少 80%。为了进一步减少人工注释的数量,该研究提出了基于模型的 dueling bandit 算法,该算法将自动评估指标与人工评估相结合,这将所需的人工注释数量进一步减少了 89%。

论文 8:Compression of Generative Pre-trained Language Models via Quantization
  • 作者:Chaofan Tao、Lu Hou、Wei Zhang、Lifeng Shang、Xin Jiang、Qun Liu、Ping Luo、Ngai Wong

  • 机构:香港大学、华为诺亚实验室

  • 论文地址:https://arxiv.org/pdf/2203.10705v1.pdf

摘要:本文采用量化方法对生成式 PLM(Pre-trained Language Models)进行压缩。他们提出了一种 token 级的对比蒸馏方法来学习可区分的词嵌入,此外,该研究还提出了一种模块级的动态扩展来使量化器适应不同的模块。在各种任务的经验结果表明,该研究提出的方法在生成 PLM 上明显优于 SOTA 压缩方法。在 GPT-2 和 BART 上分别实现了 14.4 倍和 13.4 倍的压缩率。

其他奖项

大会还公布了最佳资源论文(Best Resource Paper)和最佳语言洞察力论文(Best Linguistic Insight Paper),分别由罗马大学以及马萨诸塞大学阿默斯特分校等机构的研究者获得。

最佳资源论文:DiBiMT: A Novel Benchmark for Measuring Word Sense Disambiguation Biases in Machine Translation
  • 作者:Niccolò Campolungo、Federico Martelli、Francesco Saina、Roberto Navigli

  • 机构:罗马大学、SSML Carlo Bo

  • 论文地址:https://aclanthology.org/2022.acl-long.298.pdf

最佳语言洞察力论文:KinyaBERT: a Morphology-aware Kinyarwanda Language Model
  • 作者:Antoine Nzeyimana、Andre Niyongabo Rubungo

  • 机构:马萨诸塞大学阿默斯特分校、加泰罗尼亚理工大学

  • 论文地址:https://arxiv.org/pdf/2203.08459v2.pdf

参考链接:
https://www.2022.aclweb.org/papers
https://www.2022.aclweb.org/best-paper-awards
理论杨笛一陈丹琦ACL 2022
相关数据
华为机构

华为创立于1987年,是全球领先的ICT(信息与通信)基础设施和智能终端提供商。

https://www.huawei.com/cn/
重构技术

代码重构(英语:Code refactoring)指对软件代码做任何更动以增加可读性或者简化结构而不影响输出结果。 软件重构需要借助工具完成,重构工具能够修改代码同时修改所有引用该代码的地方。在极限编程的方法学中,重构需要单元测试来支持。

神经机器翻译技术

2013 年,Nal Kalchbrenner 和 Phil Blunsom 提出了一种用于机器翻译的新型端到端编码器-解码器结构 [4]。该模型可以使用卷积神经网络(CNN)将给定的一段源文本编码成一个连续的向量,然后再使用循环神经网络(RNN)作为解码器将该状态向量转换成目标语言。他们的研究成果可以说是神经机器翻译(NMT)的诞生;神经机器翻译是一种使用深度学习神经网络获取自然语言之间的映射关系的方法。NMT 的非线性映射不同于线性的 SMT 模型,而且是使用了连接编码器和解码器的状态向量来描述语义的等价关系。此外,RNN 应该还能得到无限长句子背后的信息,从而解决所谓的「长距离重新排序(long distance reordering)」问题。

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

词嵌入技术

词嵌入是自然语言处理(NLP)中语言模型与表征学习技术的统称。概念上而言,它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中,每个单词或词组被映射为实数域上的向量。

文本分类技术

该技术可被用于理解、组织和分类结构化或非结构化文本文档。文本挖掘所使用的模型有词袋(BOW)模型、语言模型(ngram)和主题模型。隐马尔可夫模型通常用于词性标注(POS)。其涵盖的主要任务有句法分析、情绪分析和垃圾信息检测。

解析树技术

解析树是一个内部结构,由编译器或解释器在解析一些语言结构时创建,解析也被称为“语法分析”。

机器翻译技术

机器翻译(MT)是利用机器的力量「自动将一种自然语言(源语言)的文本翻译成另一种语言(目标语言)」。机器翻译方法通常可分成三大类:基于规则的机器翻译(RBMT)、统计机器翻译(SMT)和神经机器翻译(NMT)。

映射技术

映射指的是具有某种特殊结构的函数,或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为:两个非空集合A与B间存在着对应关系f,而且对于A中的每一个元素x,B中总有有唯一的一个元素y与它对应,就这种对应为从A到B的映射,记作f:A→B。其中,y称为元素x在映射f下的象,记作:y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域,记作f(A)。同样的,在机器学习中,映射就是输入与输出之间的对应关系。

查询技术

一般来说,查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域,查询指的是数据库和信息系统对信息检索的精确要求

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

问答系统技术

问答系统是未来自然语言处理的明日之星。问答系统外部的行为上来看,其与目前主流资讯检索技术有两点不同:首先是查询方式为完整而口语化的问句,再来则是其回传的为高精准度网页结果或明确的答案字串。以Ask Jeeves为例,使用者不需要思考该使用什么样的问法才能够得到理想的答案,只需要用口语化的方式直接提问如“请问谁是美国总统?”即可。而系统在了解使用者问句后,会非常清楚地回答“奥巴马是美国总统”。面对这种系统,使用者不需要费心去一一检视搜索引擎回传的网页,对于资讯检索的效率与资讯的普及都有很大帮助。从系统内部来看,问答系统使用了大量有别于传统资讯检索系统自然语言处理技术,如自然语言剖析(Natural Language Parsing)、问题分类(Question Classification)、专名辨识(Named Entity Recognition)等等。少数系统甚至会使用复杂的逻辑推理机制,来区隔出需要推理机制才能够区隔出来的答案。在系统所使用的资料上,除了传统资讯检索会使用到的资料外(如字典),问答系统还会使用本体论等语义资料,或者利用网页来增加资料的丰富性。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

GPT-2技术

GPT-2是OpenAI于2019年2月发布的基于 transformer 的大型语言模型,包含 15 亿参数、在一个 800 万网页数据集上训练而成。据介绍,该模型是对 GPT 模型的直接扩展,在超出 10 倍的数据量上进行训练,参数量也多出了 10 倍。在性能方面,该模型能够生产连贯的文本段落,在许多语言建模基准上取得了 SOTA 表现。而且该模型在没有任务特定训练的情况下,能够做到初步的阅读理解、机器翻译、问答和自动摘要。

语言学技术

每种人类语言都是知识和能力的复合体,语言的使用者能够相互交流,表达想法,假设,情感,欲望以及所有其他需要表达的事物。语言学是对这些知识体系各方面的研究:如何构建这样的知识体系,如何获取,如何在消息的制作和理解中使用它,它是如何随时间变化的?语言学家因此关注语言本质的一些特殊问题。比如: 所有人类语言都有哪些共同属性?语言如何不同,系统的差异程度如何,我们能否在差异中找到模式?孩子如何在短时间内获得如此完整的语言知识?语言随时间变化的方式有哪些,语言变化的局限性是什么?当我们产生和理解语言时,认知过程的本质是什么?语言学研究的就是这些最本质的问题。

语音合成技术

语音合成是通过机械的、电子的方法产生人造语音的技术。TTS技术(又称文语转换技术)隶属于语音合成,它是将计算机自己产生的、或外部输入的文字信息转变为可以听得懂的、流利的汉语口语输出的技术。

量化技术

深度学习中的量化是指,用低位宽数字的神经网络近似使用了浮点数的神经网络的过程。

阿里达摩院机构

阿里巴巴达摩院(The Academy for Discovery, Adventure, Momentum and Outlook,Alibaba DAMO Academy)成立于2017年10月11日,是一家致力于探索科技未知,以人类愿景为驱动力的研究院,是阿里在全球多点设立的科研机构,立足基础科学、颠覆性技术和应用技术的研究。阿里巴巴达摩院由三大主体组成,一是在全球建设的自主研究中心;二是与高校和研究机构建立的联合实验室;三是全球开放研究项目-阿里巴巴创新研究计划(AIR计划)。

https://damo.alibaba.com/
暂无评论
暂无评论~