NSR观点| 深度学习与自然语言处理:优势和挑战

《国家科学评论》(National Science Review,) 最近发表了由前华为诺亚方舟实验室主任、现今日头条人工智能实验室主任李航博士撰写的观点文章:

Deep Learning for Natural Language Processing: Advantages and Challenges

(https://doi.org/10.1093/nsr/nwx110),

总结了深度学习用于自然语言处理的成果,并阐述了这一技术的优势和面临的挑战。

自然语言处理人工智能的一个重要方向,研究让计算机使用人类语言、即自然语言的理论和方法。深度学习是指基于深度神经网络机器学习技术。目前深度学习已成功应用于自然语言处理并取得了重大进展。   

针对深度学习自然语言处理的应用,前华为诺亚方舟实验室主任、现今日头条人工智能实验室主任李航博士在《国家科学评论》发表了题为“Deep Learning for Natural Language Processing: Advantages and Challenges”的观点文章,总结了深度学习用于自然语言处理的成果,并阐述了这一技术的优势和面临的挑战。

该文认为自然语言处理有五个主要任务:分类、匹配、翻译、结构预测和序列决策过程,如表1所示。

表1  自然语言处理的主要任务

这五个任务中的前四个,深度学习方法的表现都优于或显著优于传统方法,并且成为解决这些问题的当前最好技术。第五项任务序列决策过程包括多轮对话,深度学习对该任务的贡献如何尚未得到完全验证。

深度学习应用于自然语言处理的问题中,机器翻译的进展尤其引人注目,正成为该应用的代表性技术。此外,深度学习还首次使某些应用成为可能,比如,深度学习成功应用于图像检索、生成式的自然语言对话等。

深度学习自然语言处理中的优势主要在于端到端的训练和表示学习,这使深度学习区别于传统机器学习方法,也使之成为自然语言处理的强大工具。

深度学习面临着一些挑战。比如,缺乏理论基础和模型可解释性、模型训练需要大量数据和强大的计算资源。而深度学习自然语言处理中也面临一些独特的挑战,如长尾问题、与符号处理的结合,以及推理和决策。

可以预见,未来深度学习与其他技术(强化学习、推断、知识)结合起来将会使自然语言处理更上一层楼。 

文章信息:

Hang Li

Deep Learning for Natural Language Processing: Advantages and Challenges

Natl Sci Rev (2017). DOI: 10.1093/nsr/nwx110

https://doi.org/10.1093/nsr/nwx110

论文下载链接:https://academic.oup.com/nsr/article/5/1/24/4107792

NSR专栏
NSR专栏

中科院主管的高端综合性英文学术期刊,全面反映国内外重大研究进展,重点报道中国有代表性的科技成果。本专栏机器之心将以行业内从业者角度出发为您解读信息领域最新科研成果。

理论深度学习
相关数据
华为机构

华为创立于1987年,是全球领先的ICT(信息与通信)基础设施和智能终端提供商,致力于把数字世界带入每个人、每个家庭、每个组织,构建万物互联的智能世界。目前华为有19.4万员工,业务遍及170多个国家和地区,服务30多亿人口。

https://www.huawei.com/cn/
李航人物

李航,毕业于日本京都大学电气电子工程系,日本东京大学获得计算机科学博士学位。北京大学、南京大学兼职教授。曾任日本NEC公司中央研究所研究员,微软亚洲研究院高级研究员与主任研究员、华为技术有限公司诺亚方舟实验室主任,是《统计学习方法》作者。

深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

图像检索技术

图像检索系统是用于从大型数字图像数据库浏览、搜索和检索图像的计算机系统。 大多数传统和常见的图像检索方法利用向图像添加诸如字幕、关键字或描述之类的元数据的一些方法,以便可以对注释词执行检索。 手动图像注释耗时,费力且昂贵; 为了解决这个问题,人们已经对自动图像标注进行了大量研究。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

机器翻译技术

机器翻译(MT)是利用机器的力量「自动将一种自然语言(源语言)的文本翻译成另一种语言(目标语言)」。机器翻译方法通常可分成三大类:基于规则的机器翻译(RBMT)、统计机器翻译(SMT)和神经机器翻译(NMT)。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

深度神经网络技术

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

推荐文章
暂无评论
暂无评论~