吴玲竹作者

复旦大学黄萱菁:自然语言处理中的可理解分析

2020年11月6日,“第五届语言与智能高峰论坛”以线上直播的形式召开。本次论坛由中国中文信息学会和中国计算机学会主办,邀请到了周明、黄萱菁等多位国内外学界和业界翘楚作报告。

首届“语言与智能高峰论坛”于 2016 年在北京举行,每年举行一次,至今已成功举办四届。社会对于代表着“未来”、“高科技”、“前沿领域”的人工智能一直有着一个期望——“让机器理解人类语言”,对于这个行业的研究现状与未来趋势也有着诸多好奇。

“语言与智能高峰论坛”旨在向社会公众介绍语言与智能的前沿动态和创新成果,推动我国相关领域快速发展。论坛邀请国内外资深学者担任特邀讲者,设立青年科学家论坛、圆桌讨论和技术评测论坛,就语言与智能的前沿课题进行思想碰撞与深度交流。

复旦大学的黄萱菁教授针对深度学习推广中的可理解性和可解释性问题做了报告。以下为学术君根据演讲实录整理的文稿,略有删减——

自然语言处理中的可理解分析

自然语言处理中的可理解性是指我们希望对学习系统有更多的了解,主要包括三点内容:一是理解模型部件内部的功能属性;二是解释其行为的预决策行为;三是对系统进行诊断,判断其优缺点。

为什么要做可理解分析呢?黄萱菁教授指出,深度学习把我们从特征挖掘时代带到了结构工程时代,但是也带来了新的问题——“如何选择适配特殊任务特殊数据集的结构?”可理解分析可以增加模型的可信赖性;可以判断模型是否过拟合;可以指出模型不足,便于继续优化。正是这些作用,所以我们需要继续优化运用它。

这两张图展示的是,涉及到 interpret ability,explanation这两个关键词,过去若干年被录用的会议论文的数目的发表趋势。x轴代表年份,y轴代表该年被录用的论文的数量。可以看到,最近两年的研究都呈现出了明显的一个增长趋势。可理解分析这个方向最近两年还是有较多人关注到的。

对于自己近期的研究工作,黄萱菁教授说,主要是两个部分:第一部分是理解模型部件的功能属性,另外一个部分是关于模型诊断。在理解模型部件的功能属性方面,黄教授介绍了以下三个方面的工作:

一、LSTM架构的认知解释。希望了解两个问题,一是“人阅读和机器阅读时的神经元活动是否可以相互预测?”,二是“LSTM架构在认知角度是否合理?”。

二、序列模型的认识。这里的研究动机主要是两个,一是“主流的几种基于神经网络模型的词表示,究竟编码了哪些语言学特征?”二是“神经元的行为模式是否可解释?”。

三、抽取式摘要中各个组件的作用分析,也就是不同配置的模型到底差异在哪里。

黄萱菁教授还在报告中介绍了今年自己团队已发表的鲁棒性分析的相关工作。

第一个是关于对抗分析的,神经网络容易受到对抗样本的干扰,所以在实地实际落地使用的时候会容易一些问题。所谓的对抗样本指的是对输入做微小的难以察觉的扰动,导致机器学习模型预测错误的样本。这里需要注意的是语义的一致性以及冠词介词这类功能词不进行改变,避免引起句法歧义。

第二个是依存句法任务的攻击性能。基于依存句法对抗样本探究了句法任务模型的鲁棒性,通过利用对抗样本,提高了模型的鲁棒性。

第三个是基于情感分析(ABSA)的方面。黄萱菁教授的团队提出了一种简单有效的数据生成方法来测试模型的鲁棒性,构建了ARTS测试数据集来评测模型鲁棒性;继而提出了新的评测指标Aspect Robustness Score;并且通过探测9个现有的ABSA模型,提出了提升现有模型的鲁棒性的方法。

在报告的最后,黄萱菁教授对于可理解性分析的未来作出了研究展望;希望有一个统一的指标与数据集能够对可理解、可解释模型进行评价,并且有了这种统一评价之后,能够有一个通用的可交互的可解释工具,进行系统化平台化的分析。

另外,分析的目的是真正是改进现有系统的性能,帮助理解更好系统的输出,所以希望能够探索更多应用场景,通过可理解分析的结果去改变现有系统的性能。

黄萱菁个人介绍

黄萱菁,复旦大学计算机科学技术学院教授、博士生导师,主要从事自然语言处理信息检索和社会媒体分析研究。兼任中国中文信息学会常务理事、社会媒体专委会副主任,中国计算机学会自然语言处理专委会副主任、学术工作委员会委员。在高水平国际学术期刊和会议上发表了百余篇论文,负责的多个科研项目受到国家自然科学基金、科技部、教育部、上海市科委的支持。入选由清华—中国工程院知识智能联合研究中心和清华大学人工智能研究院联合发布的“2020年度人工智能全球女性”,“2020年度AI 2000人工智能全球最具影响力提名学者”及“福布斯中国2020科技女性榜”。

参考资料:
http://conference.cipsc.org.cn/lis2020/reports/huangxuanjing.html

AMiner学术头条
AMiner学术头条

AMiner平台由清华大学计算机系研发,拥有我国完全自主知识产权。系统2006年上线,吸引了全球220个国家/地区800多万独立IP访问,数据下载量230万次,年度访问量1000万,成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

https://www.aminer.cn/
专栏二维码
理论黄萱菁复旦大学可理解分析自然语言处理
相关数据
清华大学机构

清华大学(Tsinghua University),简称“清华”,由中华人民共和国教育部直属,中央直管副部级建制,位列“211工程”、“985工程”、“世界一流大学和一流学科”,入选“基础学科拔尖学生培养试验计划”、“高等学校创新能力提升计划”、“高等学校学科创新引智计划”,为九校联盟、中国大学校长联谊会、东亚研究型大学协会、亚洲大学联盟、环太平洋大学联盟、清华—剑桥—MIT低碳大学联盟成员,被誉为“红色工程师的摇篮”。 清华大学的前身清华学堂始建于1911年,因水木清华而得名,是清政府设立的留美预备学校,其建校的资金源于1908年美国退还的部分庚子赔款。1912年更名为清华学校。1928年更名为国立清华大学。1937年抗日战争全面爆发后南迁长沙,与北京大学、南开大学组建国立长沙临时大学,1938年迁至昆明改名为国立西南联合大学。1946年迁回清华园。1949年中华人民共和国成立,清华大学进入了新的发展阶段。1952年全国高等学校院系调整后成为多科性工业大学。1978年以来逐步恢复和发展为综合性的研究型大学。

相关技术
复旦大学机构

复旦大学(Fudan University),简称“复旦”,位于中国上海,由中华人民共和国教育部直属,中央直管副部级建制,国家双一流(A类)、985工程、211工程建设高校,入选珠峰计划、111计划、2011计划、卓越医生教育培养计划、卓越法律人才教育培养计划、国家建设高水平大学公派研究生项目,九校联盟(C9)、中国大学校长联谊会、东亚研究型大学协会、环太平洋大学协会的重要成员,是一所世界知名、国内顶尖的全国重点大学。

相关技术
周明人物

周明博士,微软亚洲研究院副院长、国际计算语言学协会(ACL)候任主席、中国计算机学会理事、中文信息技术专委会主任、术语工作委员会主任、中国中文信息学会常务理事、哈尔滨工业大学、天津大学、南开大学、山东大学等多所学校博士导师。 周明博士1985年毕业于重庆大学,1991年获哈尔滨工业大学博士学位。1991-1993年清华大学博士后,随后留校任副教授。1996-1999访问日本高电社公司领导中日机器翻译研究。他是中国第一个中英翻译系统CEMT-I(哈工大1989年)、日本最有名的中日机器翻译产品J-北京(日本高电社1998年)的研制者。 1999年,周明博士加入微软亚洲研究院,不久开始负责自然语言研究组。他带领团队进行了微软输入法、英库词典(必应词典)、中英翻译、微软中国文化系列(微软对联、微软字谜、微软绝句)等重要产品和项目的研发,并对微软Office、必应搜索、Windows等产品中的自然语言技术做出了重要贡献。近年来,周明博士领导研究团队与微软产品组合作开发了微软小冰(中国)、Rinna(日本)、Zo(美国)等聊天机器人系统。 周明博士发表了120余篇重要会议和期刊论文(包括50篇以上的ACL文章),拥有国际发明专利40余项。他多年来通过微软与中国和亚太地区的高校合作计划,包括微软-高校联合实验室、微软实习生计划、微软-高校联合培养博士生计划、青年教师铸星培养计划,与高校和学术组织联合举办暑期学校和学术会议等多种形式,对推动自然语言处理在中国和亚太的卓越发展做出了杰出贡献。

深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

信息检索技术

信息检索(IR)是基于用于查询检索信息的任务。流行的信息检索模型包括布尔模型、向量空间模型、概率模型和语言模型。信息检索最典型和最常见的应用是搜索引擎。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

过拟合技术

过拟合是指为了得到一致假设而使假设变得过度严格。避免过拟合是分类器设计中的一个核心任务。通常采用增大数据量和测试样本集的方法对分类器性能进行评价。

神经元技术

(人工)神经元是一个类比于生物神经元的数学计算模型,是神经网络的基本组成单元。 对于生物神经网络,每个神经元与其他神经元相连,当它“兴奋”时会向相连的神经元发送化学物质,从而改变这些神经元的电位;神经元的“兴奋”由其电位决定,当它的电位超过一个“阈值”(threshold)便会被激活,亦即“兴奋”。 目前最常见的神经元模型是基于1943年 Warren McCulloch 和 Walter Pitts提出的“M-P 神经元模型”。 在这个模型中,神经元通过带权重的连接接处理来自n个其他神经元的输入信号,其总输入值将与神经元的阈值进行比较,最后通过“激活函数”(activation function)产生神经元的输出。

对抗样本技术

对抗样本是一类被设计来混淆机器学习器的样本,它们看上去与真实样本的几乎相同(无法用肉眼分辨),但其中噪声的加入却会导致机器学习模型做出错误的分类判断。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

语言学技术

每种人类语言都是知识和能力的复合体,语言的使用者能够相互交流,表达想法,假设,情感,欲望以及所有其他需要表达的事物。语言学是对这些知识体系各方面的研究:如何构建这样的知识体系,如何获取,如何在消息的制作和理解中使用它,它是如何随时间变化的?语言学家因此关注语言本质的一些特殊问题。比如: 所有人类语言都有哪些共同属性?语言如何不同,系统的差异程度如何,我们能否在差异中找到模式?孩子如何在短时间内获得如此完整的语言知识?语言随时间变化的方式有哪些,语言变化的局限性是什么?当我们产生和理解语言时,认知过程的本质是什么?语言学研究的就是这些最本质的问题。

推荐文章
暂无评论
暂无评论~