Microsoft blog editor作者

微软机器阅读理解超越人类水平,CoQA数据集得分刷新记录

今日,微软博客发文公布他们在 CoQA 数据集上取得的最新成绩。在此次挑战赛中,微软亚洲研究院 NLP 组与 SDRG(微软雷德蒙德语音对话研究组)组成的团队成为首个模型表现超越人类的参赛团队。

图源:https://stanfordnlp.github.io/coqa/

在斯坦福大学举办的 CoQA(Conversational Question Answering)挑战赛中,由微软亚洲研究院(MSRA)NLP 组和微软雷德蒙德语音对话研究组组成的团队排名第一。

此挑战赛衡量了机器理解文本、在对话中回答一系列相互联系的问题的能力。

CoQA 是一个大型对话问答数据集,由来自不同领域一系列文章中的对话问题组成。在此之前,MSRA NLP 团队利用斯坦福问答数据集(SQuAD)在单轮问答中达到了人类水平,树立了一个新的里程碑。与 SQuAD 相比,CoQA 中的问题对话性质更为明显,答案形式自由,以确保对话中的答案更加自然。

CoQA 中的问题非常简短,以模仿人类对话。除此之外,第一个问题之后的每一个问题都基于对话历史,这加大了机器解析那些短问题的难度。

例如,假设你问系统,「微软的创始人是谁?」,那么在问下一个问题(「他的生日是什么时候?」)的时候,你需要让机器知道,这两个问题中的对象是同一个人。

图注:来自 CoQA 数据集的一段对话,来自论文《CoQA: A Conversational Question Answering Challenge》

为了更好地测试已有模型的泛化能力,CoQA 数据集从 7 个不同领域收集数据:童话故事、文学作品、初中高中英语测试、新闻、Wikipedia、Reddit 和科学。前五个领域的数据用作训练、开发和测试集,后面两个只用作测试集。

CoQA 使用 F1 得分来评估模型表现。F1 得分衡量了预测与真实答案之间的单词重合度。领域内 F1 得分是在与训练集为同一领域的测试集上测试得到的,领域外 F1 得分是在不同领域的测试集上得到的。整体 F1 是在所有测试集上的最终得分。

据介绍,微软研究团队的方法使用了特殊的策略,也就是多个相关任务学习到的信息被用于改进最终的机器阅读理解任务。在此多阶段、多任务精调方法中,研究人员首先在多任务环境下从相关任务中学习 MRC 关联背景信息,然后在目标任务上精调模型。在两个阶段,都使用语言建模作为辅助任务,帮助降低对话问答模型的过拟合

实验证明了这种方法的有效性,在 CoQA 挑战赛上的结果也进一步证明了该方法的强大之处。

图注:多阶段、多任务精调模型图示

据 CoQA 榜单显示,微软研究团队提交的集成系统分布取得了 89.9 的领域内得分、88.0 的领域外得分、89.4 的整体 F1 得分,而在此数据集上人类的表现分别为 89.4/87.4/88.8。

这一成就标志着搜索引擎(如必应)和智能助手(如 Cortana)在与人互动和以更自然的方式(类似人与人之间的交流)提供信息方面取得了重大进展。然而,一般的机器阅读理解和问答仍是自然语言处理中没能解决的难题。为了进一步提高机器理解和生成自然语言的能力,该团队将继续努力开发更强大的预训练模型。

原文链接:https://www.microsoft.com/en-us/research/blog/machine-reading-systems-are-becoming-more-conversational/

理论问答系统CoQA机器阅读理解NLP微软亚洲研究院微软
相关数据
微软亚洲研究院机构

微软亚洲研究院于1998年在北京成立,是微软公司在亚太地区设立的基础及应用研究机构,也是微软在美国本土以外规模最大的一个研究院。微软亚洲研究院从事自然用户界面,智能多媒体,大数据与知识挖掘,人工智能,云和边缘计算,计算机科学基础等领域的研究,致力于推动计算机科学前沿发展,着眼下一代革命性技术的研究,助力微软实现长远发展战略。通过与微软产品部门紧密合作,微软亚洲研究院将众多创新技术转移到了微软的核心产品中,如Office、Windows、Azure、Bing、Visual Studio、Xbox Kinect以及小冰、Cortana和Microsoft Translator等人工智能产品。

https://www.msra.cn/
微软机构

微软是美国一家跨国计算机科技公司,以研发、制造、授权和提供广泛的计算机软件服务为主。总部位于美国华盛顿州的雷德蒙德,最为著名和畅销的产品为Microsoft Windows操作系统和Microsoft Office办公室软件,以及Xbox的游戏业务。微软是美国《财富》杂志2015年评选的世界500强企业排行榜中的第95名。

https://www.microsoft.com/en-us/about
过拟合技术

过拟合是指为了得到一致假设而使假设变得过度严格。避免过拟合是分类器设计中的一个核心任务。通常采用增大数据量和测试样本集的方法对分类器性能进行评价。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

推荐文章
暂无评论
暂无评论~