Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

一鸣 蛋酱作者

CCL 2019 各大奖项揭晓,复旦大学、哈工大、北语等团队获最佳论文奖

昨日,第十八届中国计算语言大会(CCL 2019)在昆明落幕,大会公布了最佳论文、最佳报告展示奖等多个奖项。

10 月 18 日-20 日,第十八届中国计算语言学大会(The Eighteenth China National Conference on Computational Linguistics,以下简称「CCL 2019」)在昆明举行。会议以「中国境内各类语言的计算处理」为主题,吸引了众多领域内专家和业界人士前来参会。

CCL 大会是国内自然语言处理领域的高水平会议,每年都会有 NLP 领域的专家汇聚一堂。本次大会主办单位为中文信息学会,组织方为清华大学人工智能研究院。开幕式上,中国中文信息学会名誉理事长李生教授、昆明理工大学副校长杨斌、清华大学孙茂松教授、复旦大学黄萱菁教授做了致辞。

CCL 2019 大会介绍

CCL 会议创办于 1991 年,由中国中文信息学会计算语言学专业委员会主办,是国内自然语言处理领域权威性最高、规模和影响最大的学术会议之一,会议内容主要聚焦于中国境内各类语言的智能计算和信息处理,包括特邀报告、论文展示、系统展示、技术评测、前沿技术讲习班、国际前沿动态综述等形式,为研讨和传播计算语言学最新的学术和技术成果提供了交流平台。

近三年来,CCL 累计有 16 篇优秀录用论文成功推荐至《中国科学》、《清华大学学报》(自然科学版)发表。据了解,这 16 篇优秀录用论文近六年的累计网络下载量高达 42.4 万次,呈现出较大的学术影响力。

据 CCL 2019 官网显示,本次会议共收到论文投稿 371 篇(包括中文 237 篇,英文 134 篇);最终录用 146 篇论文(中文 90 篇,英文 56 篇)。总体录用率达到 39.35%。其中,中文论文录用率 37.87%,英文论文录用率 41.79%。

CCL 2019 论文录用列表:http://www.cips-cl.org/static/CCL2019/paper-accepted.html

据悉,本届大会允许论文作者平行投稿——即可以将投稿论文同时投到其他 NLP 大会上,只要另一会议也有类似的平行投稿政策,这无疑在吸收了优秀论文的同时,使这些论文可以更好地推向海外研究圈。

除了设立最佳论文奖(同时遵循宁缺毋滥的原则)之外,自 2017 年开始,CCL 大会还增设了「最佳张贴报告展示奖」和「最佳系统展示奖」。

获奖情况

本次大会共设立了三个奖项,分别是「最佳论文奖」、「最佳张贴报告展示奖」和「最佳系统展示奖」,大会还宣布了最佳博士学位论文的获奖情况。

最佳论文(英文)

最佳论文奖共有两篇获奖论文。包括复旦大学邱锡鹏等关于 BERT 微调用于文本分类任务的论文,以及福州大学等机构研究者提出的重建选项的观点型阅读理解任务模型。

论文 1:How to Fine-Tune BERT for Text Classification?

  • 作者:Chi Sun、Xipeng Qiu、Yige Xu、Xuanjing Huang

  • 机构:复旦大学

  • 论文链接:https://arxiv.org/abs/1905.05583

摘要:预训练语言模型已经在学习通用语言表示上证明了存在的价值。作为一个 SOTA 预训练语言模型,BERT(基于 Transformer 的双向编码表示)在许多语言理解任务上取得了惊人的结果。在本文中,研究者进行了一项费时费力的实验,用于探索在 BERT 上进行各种微调方法,以使其用于文本分类任务上。最终,研究者提出了一个通用的 BERT 微调方法。论文提出的方法在 8 个常见的文本分类数据集上取得了新的 SOTA 结果。

图 1:三种通用的 BERT 微调方法(用不同颜色的箭头标出)。

表 6:在 8 个数据集上,微调后的 BERT 模型的测试错误率。

论文 2:Reconstructed Option Rereading Network for Opinion Questions Reading Comprehension

  • 作者:Delai Qiu、Liang Bao、Zhixing Tian、Yuanzhe Zhang、Kang Liu、Jun Zhao、Xiangwen Liao

  • 机构:福州大学、中国科学院大学、中国科学院自动化所

  • 论文链接(可在 11 月 16 日前免费下载):https://link.springer.com/chapter/10.1007%2F978-3-030-32381-3_8

阅读理解单选题任务近来逐渐受到关注。这一任务要求极其能够根据和问题相关的文本,从一些选项中选出正确的答案。之前的研究工作主要集中于陈述性的事实问题,而忽略了观点型的问题。在观点型问题中,观点经常以情绪短语,如「好」或者「坏」来表现。这使得之前的工作无法对文本中的交互信息进行建模。因此,研究者提出了一个名为 RORN(Reconstructed Option Rereading Network)的模型。模型可以基于问题首先重建选项。然后,模型利用重建的选项生成其表示。最后,将信息输入到最大池化层中,对每个观点进行排序打分。实验说明,这一模型在中文观点问题机器阅读理解比赛中取得了 SOTA 的性能表现。

图 1:阅读理解单选题示例。

图 2:RORN 模型的架构。

表 2:一些由模型重建出来的选项。

表 3:模型的性能表现对比。使用了 https://challenger.ai/competition/oqmrc2018 提供的数据集。

最佳论文(中文)

论文 1:结合规则蒸馏的情感原因发现方法

  • 作者:鲍建竹、蓝恭强、巫继鹏、徐睿峰

  • 机构:哈尔滨工业大学 (深圳) 

  • 论文链接:http://cips-cl.org/static/anthology/CCL-2019/CCL-19-056.pdf

摘要:现有的基于深度学习的情感原因发现方法往往缺乏对文本子句之间关系的建模,且存在学习过 程不易控制、可解释性差和对高质量标注数据依赖的不足。针对以上问题,本文提出了一种结合规则蒸馏 的情感原因发现方法。该方法使用层次结构的双向门限循环单元 (Bi-GRU) 捕获词级的序列特征和子句之间 的潜层语义关系,并应用注意力机制学习子句与情感关键词之间的相互联系,同时结合相对位置信息和残 差结构得到子句的最终表示。在此基础上,通过知识蒸馏技术引入逻辑规则,从而使该模型具有一定的可 控性,最终实现结合逻辑规则的情感原因发现。在中文情感原因发现数据集上的实验结果显示,该方法达到了目前已知的最优结果,F1 值提升约 2 个百分点。

论文 2:汉语复合名词短语语义关系知识库构建与自动识别研究

  • 作者:张文敏、李华勇、邵艳秋

  • 机构:北京语言大学

  • 论文链接:http://cips-cl.org/static/anthology/CCL-2019/CCL-19-077.pdf

摘要:汉语复合名词短语因其使用范围广泛、结构独特、内部语义复杂的特点,一直是语言学分析和中文信息处理领域的 重要研究对象。国内关于复合名词短语的语言资源极其匮乏,且现有知识库只研究名名复合形式的短语,包含动词的复合名词短 语的知识库构建仍处于空白阶段,同时现有的复合名词短语知识库大部分脱离了语境,没有句子级别的信息。

针对这一现状,该文从多个领域搜集语料,建立了一套新的语义关系体系标注,构建了一个具有相当规模的带有句子信息的复合名词语义关系知识库。该库的标注重点是标注句子中复合名词短语的边界以及短语内部成分之间的语义关系,总共收录 27007 条句子。该文对标注后的知识库做了详细的计量统计分析。最后基于标注得到的知识库,该文使用基线模型对复合名词短语进行了自动定界和语义分类实验,并对实验结果和未来可能的改进方向做了总结分析。

其他获奖情况

本次大会还公布了中国中文信息学会(CIPS)最佳博士学位论文获奖和提名奖的情况,包括中科院计算所、自动化所,以及山西大学、哈工大、清华、北京语言大学等机构的博士生论文获奖或获得了提名。

此外,CCL 2019「最佳张贴报告展示奖」和「最佳系统展示奖」的获奖论文情况也在 20 日下午的会议上进行了公布。其中,清华大学构建的「九歌」诗歌创作系统获得了最佳系统展示奖。只需要输入关键字或句子等信息,该系统就能直接生成绝句、藏头诗、律诗、词等创作文体。

参考链接

http://www.cips-cl.org/static/CCL2019/index.html

入门CCL 2019清华大学北京语言大学孙茂松刘知远邱锡鹏福州大学中科院自动化研究所
相关数据
复旦大学机构

复旦大学(Fudan University),简称“复旦”,位于中国上海,由中华人民共和国教育部直属,中央直管副部级建制,国家双一流(A类)、985工程、211工程建设高校,入选珠峰计划、111计划、2011计划、卓越医生教育培养计划、卓越法律人才教育培养计划、国家建设高水平大学公派研究生项目,九校联盟(C9)、中国大学校长联谊会、东亚研究型大学协会、环太平洋大学协会的重要成员,是一所世界知名、国内顶尖的全国重点大学。

相关技术
人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

文本分类技术

该技术可被用于理解、组织和分类结构化或非结构化文本文档。文本挖掘所使用的模型有词袋(BOW)模型、语言模型(ngram)和主题模型。隐马尔可夫模型通常用于词性标注(POS)。其涵盖的主要任务有句法分析、情绪分析和垃圾信息检测。

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集(或特征)的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的,这让「神经网络在执行预测任务时可以更多关注输入中的相关部分,更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时,源句子中仅有少部分是相关的;因此,可以应用一个基于内容的注意力机制来根据源句子动态地生成一个(加权的)语境向量(context vector), 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

最大池化技术

最大池化(max-pooling)即取局部接受域中值最大的点。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

知识蒸馏技术

Hinton 的工作引入了知识蒸馏压缩框架,即通过遵循“学生-教师”的范式减少深度网络的训练量,这种“学生-教师”的范式,即通过软化“教师”的输出而惩罚“学生”。为了完成这一点,学生学要训练以预测教师的输出,即真实的分类标签。这种方法十分简单,但它同样在各种图像分类任务中表现出较好的结果。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

孙茂松人物

孙茂松,教授,博士生导师,曾任清华大学计算机科学与技术系系主任,现任教育部在线教育研究中心副主任、清华大学计算机系党委书记、清华大学大规模在线开放教育研究中心主任。

语言学技术

每种人类语言都是知识和能力的复合体,语言的使用者能够相互交流,表达想法,假设,情感,欲望以及所有其他需要表达的事物。语言学是对这些知识体系各方面的研究:如何构建这样的知识体系,如何获取,如何在消息的制作和理解中使用它,它是如何随时间变化的?语言学家因此关注语言本质的一些特殊问题。比如: 所有人类语言都有哪些共同属性?语言如何不同,系统的差异程度如何,我们能否在差异中找到模式?孩子如何在短时间内获得如此完整的语言知识?语言随时间变化的方式有哪些,语言变化的局限性是什么?当我们产生和理解语言时,认知过程的本质是什么?语言学研究的就是这些最本质的问题。

推荐文章
暂无评论
暂无评论~