作者李亚洲

微软亚研20周年,微软ResNet等AI技术突破盘点

ResNet、r-Net,在人工智能迅猛发展的今天,微软研究之花可独表一枝……

2016 年,《财富》杂志在文章《Why deep learning is suddenly changing your life》曾如此描述这波 AI 浪潮的兴起,「最初的革命火花开始于 2009 年。那年夏天微软的邓力邀请神经网络先驱、多伦多大学的 Geoffrey Hinton 来参观并合作... 邓力的团队用神经网络做了大量语言识别方面的实验。」

作为世界顶尖的研究中心之一,成立于 1991 年的微软研究院经过数十年的积累,成为了这波深度学习浪潮中的主力军。而微软亚研作为微软在美国本土以外最大的基础研究机构,作出了 ResNet、r-Net 这样的顶级研究成果,也培养了何恺明孙剑这样一批优秀的后继力量。

11 月 5 日,是微软亚洲研究院(MSRA) 成立 20 周年。在「21 世纪的计算」学术研讨会以及后续的 20 周年庆典上,微软回顾了他们为全球 AI 技术发展贡献的重要研究成果,特别是在 AI 领域的突破性研究。机器之心对这些突破性研究进行了盘点,很荣幸的是我们从 2015 年初就已经开始关注、报道微软在 AI 领域的技术突破。

图:来自「21 世纪的计算」学术研讨会上洪小文演讲

计算机视觉 ResNet、Faster R-CNN

计算机视觉人工智能核心领域之一,过去数年因深度学习得以快速发展。在 2015 年微软研究院的研究者们提出 ResNet 之前,卷积网络的深度有非常大的限制,最深的网络受限于梯度传播也只有十几二十层。而微软的研究者创新地提出了残差连接,从而使得训练数百甚至数千层成为可能,并在这种情况下能展现出大大超越以往的性能。

ImageNet 比赛分类任务中,ResNet 获得第一名,ResNet 的作者何恺明也因此摘得 CVPR2016 最佳论文奖,其他作者包括张翔宇(Xiangyu Zhang)、任少卿Shaoqing Ren)和孙剑(Jiangxi Sun)

现在,ResNet 已经成为了计算机视觉领域的一大经典技术,很多 CV 任务都将预训练的 ResNet 作为基础网络,可以说大多数 CV 模型都离不开 ResNet。除了 ResNet,在计算机视觉领域微软还提出了用于实时物体检测的 Faster R-CNN,用于立体视觉的置信度传播算法,用于图像分割的 Lazy Snapping 算法以及暗通道去雾法等。

参见:

「超人」语音识别

除了计算机视觉语音识别也因深度学习取得极大的突破。2016 年,微软在语音识别次错率上不断刷新记录:2016 年 9 月份,微软的单个系统在产业标准 Switchboard 语音识别任务的基准评估取得了 6.3% 的词错率(WER);2016 年 10 月份,微软语音识别系统实现了和专业速录员相当甚至更低的词错率(WER),达到了 5.9%;2017 年 8 月,微软语音识别研究团队在黄学东的带领下,将去年 10 月刷新的 5.9% 词错率降至 5.1%。

在 2017 年 9 月份,机器之心对黄学东的专访中他曾表示,「在技术研究的「最后一英里」,每 0.1 个百分点的进步都异常艰难。」但他也表示,「真正的语音识别有口音、噪音、远场、语速等等问题,在这些方面,人的鲁棒性还是不同一般的。所以我们在这个任务上达到了『超人』的水平只是一个小小的里程碑。」在这个领域,还有大量的工作需要完成。

参见:

机器阅读理解打破人类记录

2018 年 1 月初,AI 社区为微软、阿里所引爆。几乎在同一时间,微软和阿里巴巴的机器阅读理解系统在最新的 SQuAD 数据集测评结果中取得了并列第一的成绩,历史上第一次打破了人类记录。

在此比赛中,微软使用的是 MSRA 于 2017 年发布的论文《R-NET: MACHINE READING COMPREHENSION WITH SELF-MATCHING NETWORKS》中提出的 R-Net。R-NET 模型在 SQuAD 文本理解挑战赛中,EM 值(表示预测答案和真实答案完全匹配)达到 82.650 分。此后,微软亚洲研究院升级后的 NL-NET 模型在 EM 值和 F1 值(表示预测答案和真实答案近似匹配)两个维度上,分别获得了 85.954、91.677 的高分。

虽然此成绩经过媒体的夸大传播引起了 NLP 社区的反感,但我们确实在机器阅读理解领域不断进步。除此之外,过去几年,微软研究院一直在「让机器理解人类上」压以重注,如 2016 年微软发布数据集 MS MARCO,有意打造阅读理解领域的「ImageNet」;2017 年微软收购 NLP 明星公司 Maluuba。

参见:

机器翻译媲美人类

2016 年,自谷歌宣布谷歌翻译整合神经网络实现颠覆性突破之后,机器翻译成为了深度学习社区的热门研究领域。2018 年 3 月,微软研究团队表示,微软和微软亚研创造了首个在质量与准确率上匹配人类水平的中英新闻机器翻译系统。

在接受机器之心专访时,微软语音、自然语言与机器翻译的技术负责人黄学东表示,他们采用专业人类标注与盲测评分代替 BLEU 分值而具有更高的准确性,且新系统相比于现存的机器翻译系统有非常大的提升。因此,根据人类盲测评分,微软机器翻译取得了至少和专业翻译人员相媲美的效果。 

参见:

产业ResNet微软
2
相关数据
微软亚洲研究院机构

微软亚洲研究院于1998年在北京成立,是微软公司在亚太地区设立的基础及应用研究机构,也是微软在美国本土以外规模最大的一个研究院。微软亚洲研究院从事自然用户界面,智能多媒体,大数据与知识挖掘,人工智能,云和边缘计算,计算机科学基础等领域的研究,致力于推动计算机科学前沿发展,着眼下一代革命性技术的研究,助力微软实现长远发展战略。通过与微软产品部门紧密合作,微软亚洲研究院将众多创新技术转移到了微软的核心产品中,如Office、Windows、Azure、Bing、Visual Studio、Xbox Kinect以及小冰、Cortana和Microsoft Translator等人工智能产品。

https://www.msra.cn/
何恺明人物

Facebook AI Research研究科学家。Residual Net提出者。

任少卿人物

任少卿,Momenta公司研发总监,毕业于中国科技大学与微软亚洲研究院联合培养博士班,曾参与提出适用于物体检测的高效框架Faster RCNN和图像识别算法ResNet,后者相关论文于2016年获得计算机视觉领域顶级会议CVPR 的Best Paper Award。

邓力人物

邓力,本科毕业于中国科学技术大学,随后在威斯康星大学麦迪逊分校获的硕士和博士学位。曾任微软人工智能首席科学家。邓力2009 年就同 Geoffrey Hinton 教授合作,首次提出并将深度神经网络应用到大规模语言识别中,显著提高了机器对语音的识别率,极大推动了人机交互领域的发展与进步。2017年5月,他加入了市值300亿美元的对冲基金Citadel并担任首席人工智能官。

相关技术
洪小文人物

微软公司资深副总裁,微软亚洲研究院院长。

孙剑人物

孙剑,男,前微软亚研院首席研究员,现任北京旷视科技有限公司(Face++)首席科学家、旷视研究院院长 。自2002年以来在CVPR, ICCV, SIGGRAPH, PAMI等顶级学术会议和期刊上发表学术论文100余篇,两次获得CVPR最佳论文奖(2009, 2016)。孙剑博士带领的团队于2015年获得图像识别国际大赛五项冠军 (ImageNet分类,检测和定位,MS COCO 检测和分割) ,其团队开发出来的“深度残差网络”和“基于区域的快速物体检测”技术已经被广泛应用在学术和工业界。

深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

图像分割技术

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类:基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。从数学角度来看,图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程,即把属于同一区域的像索赋予相同的编号。

神经机器翻译技术

2013 年,Nal Kalchbrenner 和 Phil Blunsom 提出了一种用于机器翻译的新型端到端编码器-解码器结构 [4]。该模型可以使用卷积神经网络(CNN)将给定的一段源文本编码成一个连续的向量,然后再使用循环神经网络(RNN)作为解码器将该状态向量转换成目标语言。他们的研究成果可以说是神经机器翻译(NMT)的诞生;神经机器翻译是一种使用深度学习神经网络获取自然语言之间的映射关系的方法。NMT 的非线性映射不同于线性的 SMT 模型,而且是使用了连接编码器和解码器的状态向量来描述语义的等价关系。此外,RNN 应该还能得到无限长句子背后的信息,从而解决所谓的「长距离重新排序(long distance reordering)」问题。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

机器翻译技术

机器翻译(MT)是利用机器的力量「自动将一种自然语言(源语言)的文本翻译成另一种语言(目标语言)」。机器翻译方法通常可分成三大类:基于规则的机器翻译(RBMT)、统计机器翻译(SMT)和神经机器翻译(NMT)。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

噪音技术

噪音是一个随机误差或观测变量的方差。在拟合数据的过程中,我们常见的公式$y=f(x)+\epsilon$中$\epsilon$即为噪音。 数据通常包含噪音,错误,例外或不确定性,或者不完整。 错误和噪音可能会混淆数据挖掘过程,从而导致错误模式的衍生。去除噪音是数据挖掘(data mining)或知识发现(Knowledge Discovery in Database,KDD)的一个重要步骤。

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域,它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性,目前的语音识别系统只能在一定的限制条件下获得满意的性能,或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

语言识别技术

在自然语言处理中,语言识别或语言猜测是确定给定内容所使用的自然语言的问题。针对该问题的计算方法被视为文本分类的特例,并用各种统计方法解决。

图网技术

ImageNet 是一个计算机视觉系统识别项目, 是目前世界上图像识别最大的数据库。

推荐文章
暂无评论
暂无评论~