期待已久!邓力、刘洋等合著的这本NLP书你确定不想看?

2017 年,机器之心就获知邓力、刘洋教授等人在编写一本 NLP 领域的书籍《Deep Learning in Natural Language Processing》,一直以来都对此书有所期待。此书介绍了深度学习在 NLP 常见问题中的应用,还对 NLP 未来发展的研究方向进行了探讨,包括神经符号整合框架、基于记忆的模型、先验知识融合以及深度学习范式(如无监督学习、生成式学习、多模学习、多任务学习元学习等)。机器之心经刘洋教授授权对此书内容进行了部分编译介绍并提供 PDF 下载,感兴趣的读者可在微信文章下留言获取。

官方书籍地址:https://www.springer.com/gp/book/9789811052088

自然语言处理(NLP)旨在使计算机可以智能地处理人类语言,是跨越人工智能、计算科学、认知科学、信息处理和语言学的重要跨学科领域。由于计算机和人类语言之间的交互技术的进步,语音识别、对话系统、信息检索、问答和机器翻译等 NLP 应用已经开始重塑人们识别、获取和利用信息的方式。

NLP 的发展经历了三次浪潮:理性主义、经验主义和深度学习。在第一次浪潮中,理性主义方法主张设计手工制作的规则,将知识融入 NLP 系统,这种主张假设人类思维中的语言知识是通过通用继承预先固定下来的。在第二次浪潮中,经验方法假设丰富的感官输入和表面形式的可观察语言数据是必需的,并且足以使大脑学习自然语言的详细结构。因此,人们开发了概率模型来发现大型语料库中语言的规律性。在第三次浪潮中,受生物神经系统的启发,深度学习利用非线性处理的层次模型,从语言数据中学习内在表征,旨在模拟人类的认知能力。

深度学习自然语言处理的交叉在实际任务中取得了惊人的成功。语音识别深度学习深刻影响的第一个工业 NLP 应用。随着大规模训练数据变得可用,深度神经网络实现了比传统经验方法低得多的识别误差。深度学习在 NLP 领域的另一个成功应用是机器翻译。使用神经网络对人类语言之间的映射进行建模的端到端神经机器翻译已经证明可以大大提高翻译质量。因此,神经机器翻译已迅速成为大型科技公司(谷歌、微软、Facebook、百度等)提供的主要商业在线翻译服务的新技术。NLP 的许多其他领域,包括语言理解和对话、词法分析和解析、知识图谱信息检索、文本问答、社交计算、语言生成和文本情感分析,也通过深度学习取得了很大的进步,掀起了 NLP 发展的第三次浪潮。如今,深度学习是应用于几乎所有 NLP 任务的主导方法。

作者对三大浪潮分析得出的结论是:当前的深度学习技术是从前两大浪潮发展的 NLP 技术在概念和范式上的革命。这场革命的关键支柱包括语言实体(子词、单词、短语、句子、段落、文档等)的分布式表示,通过嵌入、嵌入的语义泛化、语言的长跨深度序列建模、有效地表示从低到高的语言水平的分层网络以及端到端的深度学习方法,来共同完成许多 NLP 任务。在深度学习浪潮之前,这些都不可能,不仅是因为在之前的浪潮中缺乏大数据和强大的计算,而且同样重要的是,近年来我们错过了正确的框架,直到深度学习范式出现。

这本书的主要目的是综述深度学习在 NLP 领域的近期前沿应用。本书会展示当前最佳的 NLP 为中心的深度学习研究,并聚焦于探讨深度学习在主要的 NLP 应用中发挥的作用,包括口语理解、对话系统、词法分析、语法分析、知识图谱机器翻译、问答、情感分析、社交计算和从图像生成自然语言。本书适用于有计算机技术背景的读者,包括硕士生、博士生、博士后研究员、教学者和产业界研究者,以及任何想快速了解 NLP 深度学习最新进展的读者。

本书由全球知名的 Deep Learning 和 NLP 专家邓力博士领导国内外一批活跃的 NLP 研究人员撰写,全面介绍了深度学习如何解决 NLP 中的基本问题,并汇总了大多数深度学习方法应用于 NLP 领域的最新进展(包括 2017 下半年的最新研究进展)。

本书第一章首先回顾了 NLP 的基础知识以及本书后续章节所涵盖的 NLP 的主要范围,然后深入探讨了 NLP 的历史发展,总结为三大浪潮和未来方向。第 2-10 章对应用于 NLP 的深度学习最新进展进行了深入研究,分为九个单独的章节,每个章节涵盖 NLP 的一个(很大程度上是独立的)应用领域。每章的主体由在各自领域积极工作的主要研究人员和专家撰写。

目录如下:

  • Chapter 1: 深度学习与自然语言简介(邓力,刘洋)

  • Chapter 2: 对话理解系统中的深度学习(Gokhan Tur, Asli Celikyilmaz,何晓冬,Dilek Hakkani-TÜr, 邓力

  • Chapter 3: 语音与文本对话系统中的深度学习(Asli Celikyilmaz, 邓力, and Dilek Hakkani-TÜr)

  • Chapter 4: 语法与词法分析中的深度学习(车万翔 张岳)

  • Chapter 5: 知识图谱中的深度学习(刘知远,韩先培)

  • Chapter 6: 机器学习中的深度学习(刘洋,张家俊)

  • Chapter 7: 问答系统中的深度学习(刘康,冯岩松)

  • Chapter 8: 情感分析中的深度学习(唐都钰,张梅山)

  • Chapter 9: 社交计算中的深度学习(赵鑫,李晨亮)

  • Chapter 10: 看图说话中的深度学习(何晓冬,邓力

  • Chapter 11: 后记(邓力,刘洋)

在调查了应用深度学习的 NLP 领域的突出成功之后,作者指出并分析了当前深度学习技术的几个主要局限性,涉及一般以及更具体的 NLP 领域。这项调查为 NLP 指出了五个未来的前沿发展方向:神经 - 符号整合框架、探索更好的记忆模型、更好地利用知识,以及更好的深度学习范式(包括无监督和生成学习、多模态和多任务学习元学习)。

整本书共有 11 章,包含了深度学习在 NLP 中各个领域的研究与应用,并且在全书的最后一部分,作者们讨论了基于 DL 的 NLP 如何扩展到更为通用领域。泛化的本质是将深度神经网络(如:参数化功能块的计算图表)从静态转为动态。这意味着泛化可以使由许多可微分模型组成的网络架构以数据相关的方式进行实时创建。正如本书很多章节中使用逻辑表达式、条件、赋值和循环等进行程序化编程,在可微分编程模型中,涉及到存储、注意、堆栈、队列和指针模块的深度神经网络架构亦如此实现。

实际上,当前的深度学习框架(如: PyTorch, TensorFlow, Chainer, MXNet, CNTK 等)更要追求模型的灵活性,因为一旦高效的编译器被开发出来,我们将需采用一个全新的软件实现方式。以循环和条件判断为主的传统编程逻辑将被淘汰,取而代之的是由神经网络实现的参数化功能模块的组装图表。其中的关键技术在于,基于模型的可微分性,使用高效的梯度优化方法,通过端到端的反向传播学习从数据中自动训练出组装图表中的所有参数,比如神经网络权重以及定义网络非线性和存储模块的参数

总之,相信在不久的将来,以广义深度学习或可微分编程框架所创建的更加强大、更加灵活、更加先进的学习架构可以解决本书中所列举的 NLP 前沿研究领域的遗留问题。不止于本书中所提及的研究成果,新的成就将会像雨后春笋般涌现,这一切都将会使我们越来越接近通用人工智能实现的日子。那时,NLP 将会成为通用人工智能的一个重要组成部分呈现在大家面前。

此外,读者可以看看原书语言建模与基于注意力的机器翻译两小节截图,从而对整本书的风格与内容有大概的了解:

作者介绍

主编

邓力博士(人工智能科学家),2017 年 5 月至今任对冲基金公司 Citadel 首席人工智能官(Chief Artificial-Intelligence Officer)。之前任微软人工智能首席科学家。邓力在 2009 年就同 Geoffrey Hinton 教授合作,首次提出并将深度神经网络应用到大规模语言识别中,显著提高了机器对语音的识别率,极大推动了人机交互领域的发展与进步。目前,邓力的研究方向主要为应用于大数据、语音、文本、图像和多模态处理的深度学习和机器智能方法,以及人工智能深度学习在金融领域的应用。在语音、NLP、大数据分析、企业智能、互联网搜索、机器智能、深度学习等领域,邓力曾获 70 多项美国或国际专利。同时,他还获得过 IEEE、国际言语通讯协会、美国声学协会、亚太信号与信息处理协会、微软等组织授予的多项荣誉。2015 年,凭借在深度学习与自动语音识别方向做出的杰出贡献,邓力获 IEEE 技术成就奖。

刘洋博士,清华大学计算机科学与技术系长聘副教授、博士生导师、智能技术与系统实验室主任,国家优秀青年基金获得者。研究方向是自然语言处理,在自然语言处理人工智能领域重要国际刊物 Computational Linguistics 和国际会议 ACL、EMNLP、IJCAI 和 AAAI 上发表 50 余篇论文,获 ACL 2017 杰出论文奖和 ACL 2006 优秀亚洲自然语言处理论文奖。承担 10 余项国家自然科学基金、国家重点研发计划、国家 863 计划、国家科技支撑计划和国际合作项目,2015 年获国家自然科学基金优秀青年项目资助。获得 2015 年国家科技进步二等奖、2014 年中国电子学会科学技术奖科技进步类一等奖、2009 年北京市科学技术奖二等奖和 2014 年中国中文信息学会钱伟长中文信息处理科学技术奖汉王青年创新奖一等奖等多项科技奖励。担任或曾担任国际计算语言学学会亚太分部执委会委员、SIGHAN Information Officer、中国中文信息学会青年工作委员会主任兼计算语言学专业委员会秘书长、Computational Linguistics 编委、ACM TALLIP 副编辑、ACL 2015 组织委员会共同主席、ACL 2014 讲习班共同主席、ACL 2017/2018 与 EMNLP 2016/2018 程序委员会机器翻译领域共同主席、IJCAI 2016/2018 和 AAAI 2019 资深程序委员会委员。

主要参与作者

  • 何晓东博士是京东 AI 研究院常务副院长、深度学习及语音和语言实验室主任。他于 1996 年获得清华大学(北京)学士学位,1999 年获得中国科学院(北京)硕士学位,并于 2003 获哥伦比亚大学博士学位。他的研究兴趣主要集中在人工智能领域,包括深度学习,自然语言,计算机视觉,语音,信息检索和知识表示。加入京东之前,何晓冬博士就职于美国微软雷德蒙德研究院,担任主任研究员(Principal Researcher)及深度学习技术中心(DLTC)负责人,同时在位于西雅图的华盛顿大学兼任教授、博士生导师。微软在 2018 年 1 月推出的人工智能绘画机器人正是出自何晓冬团队的作品。

  • 车万翔 哈尔滨工业大学计算机学院副教授、博士生导师。斯坦福大学访问学者,合作导师 Christopher Manning 教授。现任中国中文信息学会计算语言学专业委员会委员、青年工作委员会副主任;中国计算机学会高级会员、YOCSEF 哈尔滨主席。主要研究领域为自然语言处理,在 ACL、EMNLP、AAAI、IJCAI 等国内外高水平期刊和会议上发表学术论文 40 于篇,其中 AAAI 2013 年的文章获得了最佳论文提名奖,出版教材 2 部,译著 2 部。目前承担国家自然科学基金、973 等多项科研项目。负责研发的语言技术平台(LTP)已被 600 余家单位共享,提供的在线「语言云」服务已有用户 1 万余人,并授权给百度、腾讯、华为等公司使用。2009 年,获 CoNLL 国际多语种句法和语义分析评测第 1 名。2016 年获黑龙江省科技进步一等奖;2015 和 2016 连续两年获得 Google Focused Research Award(谷歌专注研究奖);2012 年,获黑龙江省技术发明奖二等奖;2010 年获钱伟长中文信息处理科学技术奖一等奖、首届汉王青年创新奖等多项奖励。

  • 张岳,新加坡科技设计大学助理教授。获清华大学计算机科学与技术学士学位,牛津大学计算机科学硕士和博士学位。2012 年加入新加坡科技设计大学之前,曾在英国剑桥大学担任博士后研究员。对自然语言处理机器学习人工智能有浓厚的研究兴趣,主要从事统计句法分析、文本生成、机器翻译、情感分析和股票市场分析的研究。任 ACM/IEEE TALLIP 副主编及 COLING 2014、NAACL 2015、EMNLP 2015、ACL 2017 和 EMNLP 2017 的程序委员会领域主席和 IALP 2017 的程序委员会主席。

  • 刘知远,清华大学计算机系副教授、博士生导师。主要研究方向为表示学习、知识图谱和社会计算。2011 年获得清华大学博士学位,已在 ACL、IJCAI、AAAI 等人工智能领域的著名国际期刊和会议发表相关论文 60 余篇,Google Scholar 统计引用超过 2700 次。承担多项国家自然科学基金。曾获清华大学优秀博士学位论文、中国人工智能学会优秀博士学位论文、清华大学优秀博士后、中文信息学会青年创新奖,入选中国科学青年人才托举工程、CCF-Intel 青年学者提升计划。担任中文信息学会青年工作委员会执委、副主任,中文信息学会社会媒体处理专委会委员、秘书,SCI 期刊 Frontiers of Computer Science 青年编委,ACL、COLING、IJCNLP 领域主席。

  • 韩先培,博士,中国科学院软件研究所基础软件国家工程研究中心 / 计算机科学国家重点实验室副研究员。主要研究方向是信息抽取知识库构建、语义计算以及智能问答系统。在 ACL、SIGIR 等重要国际会议发表论文 20 余篇。韩先培是中国中文信息学会会员,中国中文信息学会语言与知识计算专业委员会秘书长及中国中文信息学会青年工作委员会委员。

  • 张家俊于中科院自动化所获得博士学位,现任中科院自动化所模式识别国家重点实验室副研究员,中国科学院青年创新促进会会员。研究方向为自然语言处理机器翻译、跨语言文本信息处理、深度学习等。现任人工智能学会青年工作委员会常务委员、中文信息学会计算语言学专委会和青年工作委员会委员。在国际著名期刊 IEEE/ACM TASLP、IEEE Intelligent Systems、ACM TALLIP 与国际重要会议 AAAI、IJCAI、ACL、EMNLP、COLING 等发表学术论文 40 余篇。曾获 PACLIC-2009、NLPCC-2012(2017) 和 CWMT-2014 最佳论文奖。2014 年获中国中文信息学会「钱伟长中文信息处理科学技术奖」一等奖(排名第三)。2015 年入选首届中国科协「青年人才托举工程」计划。

  • 刘康,博士,现任中科院自动化所模式识别国家重点实验室副研究员,西安电子科技大学客座教授。研究领域包括信息抽取、网络挖掘、问答系统等,同时也涉及模式识别机器学习方面的基础研究。在自然语言处理、知识工程等领域国际重要会议和期刊发表论文九十余篇(如 TKDE、ACL、IJCAI、EMNLP、COLING、CIKM 等),获得 KDD CUP 2011 Track2 全球亚军,COLING 2014 最佳论文奖,首届「CCF - 腾讯犀牛鸟基金卓越奖」、2014 年度中国中文信息学会「钱伟长中文信息处理科学技术奖 - 汉王青年创新一等奖」、2015、2016 Google Focused Research Award 等。

  • 冯岩松 北京大学计算机科学与技术研究所讲师。2011 年毕业于英国爱丁堡大学,获得信息科学博士学位。主要研究方向包括自然语言处理信息抽取、智能问答以及机器学习自然语言处理中的应用;研究小组已连续三年在面向结构化知识库的知识问答评测 QALD 中获得第一名;相关工作已发表在 TPAMI、ACL、EMNLP 等主流期刊与会议上。作为项目负责人或课题骨干已承担多项国家自然科学基金及科技部 863 计划项目。分别在 2014 和 2015 年获得 IBM Faculty Award。

  • 唐都钰,微软亚洲研究院自然语言计算组研究员,主要从事包括智能问答、语义理解、常识推理等在内的自然语言处理基础研究。唐都钰博士论文题目为《基于表示学习的文本情感分析研究》获 2016 年中国中文信息学会优秀博士学位论文奖。

  • 张梅山,新加坡科技与设计大学,博士后研究员。张梅山博士分别于 2004 年、2008 年和 2014 年获得中国地质大学 (武汉) 物理学学士、中科院软件所计算机应用技术硕士和哈尔滨工业大学计算机应用技术博士学位,目前任职新加坡科技与设计大学博士后研究员。近年来发表各类论文 23 篇,其中,AAAI、ACL、EMNLP、COLING 等领域顶级会议论文 11 篇。目前的主要研究兴趣为自然语言处理、情感分析和深度学习

  • 赵鑫,中国人民大学信息学院副教授,近五年内在国内外著名学术期刊与会议上发表论文近 60 篇,其中包括信息检索领域顶级学术期刊 ACM TOIS 和学术会议 SIGIR、数据挖掘领域顶级学术期刊 IEEE TKDE/ACM TKDD 和学术会议 SIGKDD、自然语言处理顶级会议 ACL/EMNLP/COLING。所发表的学术论文取得了一定的关注度,据 Google Scholar 统计(搜索 Wayne Xin Zhao),已发表论文共计被引用近 1800 次。担任多个重要的国际会议或者期刊评审。目前承担国家自然科学基金青年项目一项和北京市自然科学基金面上项目一项,以及横向项目多项。

  • 李晨亮,男,博士,副教授, 硕士生导师,2013 年毕业于新加坡南洋理工大学计算机工程学院, 获博士学位。同年由武汉大学计算机学院引进,获得优秀青年骨干教师启动资金。2015 年入选武汉大学珞珈青年学者。研究兴趣包括信息检索数据挖掘 (文本挖掘)、自然语言处理机器学习和社交媒体分析。其主要科研成果已先后发表在国际顶级学术期刊和会议上;担任中国中文信息学会青年工作委员会委员、社交媒体专委会委员、信息检索专委会委员。作为骨干成员参与新加坡教育部科学基金项目 1 项,新加坡国防部科技项目 1 项。2016 年指导硕士生在 CCF-A 类会议 SIGIR2016 上发表长文论文一篇,并获大会最佳学生论文提名奖(Best Student Paper Award Honorable Mention)


入门自然语言处理邓力书籍
22
相关数据
人工智能技术
Artificial Intelligence

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

神经网络技术
Neural Network

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

神经机器翻译技术
Neural Machine Translation

2013 年,Nal Kalchbrenner 和 Phil Blunsom 提出了一种用于机器翻译的新型端到端编码器-解码器结构 [4]。该模型可以使用卷积神经网络(CNN)将给定的一段源文本编码成一个连续的向量,然后再使用循环神经网络(RNN)作为解码器将该状态向量转换成目标语言。他们的研究成果可以说是神经机器翻译(NMT)的诞生;神经机器翻译是一种使用深度学习神经网络获取自然语言之间的映射关系的方法。NMT 的非线性映射不同于线性的 SMT 模型,而且是使用了连接编码器和解码器的状态向量来描述语义的等价关系。此外,RNN 应该还能得到无限长句子背后的信息,从而解决所谓的「长距离重新排序(long distance reordering)」问题。

深度神经网络技术
Deep neural network

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

大数据技术
Big data

大数据,又称为巨量资料,指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。

语料库技术
Corpora

语料库一词在语言学上意指大量的文本,通常经过整理,具有既定格式与标记;事实上,语料库英文 "text corpus" 的涵意即为"body of text"。

计算机视觉技术
Computer Vision

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

信息抽取技术
Information extraction

信息/数据抽取是指从非结构化或半结构化文档中提取结构化信息的技术。信息抽取有两部分:命名实体识别(目标是识别和分类真实世界里的知名实体)和关系提取(目标是提取实体之间的语义关系)。概率模型/分类器可以帮助实现这些任务。

知识图谱技术
Knowledge graph

知识图谱本质上是语义网络,是一种基于图的数据结构,由节点(Point)和边(Edge)组成。在知识图谱里,每个节点表示现实世界中存在的“实体”,每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲,知识图谱就是把所有不同种类的信息(Heterogeneous Information)连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。 知识图谱这个概念最早由Google提出,主要是用来优化现有的搜索引擎。不同于基于关键词搜索的传统搜索引擎,知识图谱可用来更好地查询复杂的关联信息,从语义层面理解用户意图,改进搜索质量。比如在Google的搜索框里输入Bill Gates的时候,搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月,家庭情况等等。

知识库技术
Knowledge base

知识库是用于知识管理的一种特殊的数据库,以便于有关领域知识的采集、整理以及提取。知识库中的知识源于领域专家,它是求解问题所需领域知识的集合,包括基本事实、规则和其它有关信息。

语言识别技术
Language identification

在自然语言处理中,语言识别或语言猜测是确定给定内容所使用的自然语言的问题。针对该问题的计算方法被视为文本分类的特例,并用各种统计方法解决。

逻辑技术
Logic

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

人机交互技术
Human-computer interaction

人机交互,是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器,也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流,并进行操作。小如收音机的播放按键,大至飞机上的仪表板、或是发电厂的控制室。

信息检索技术
Information Retrieval

信息检索(IR)是基于用于查询检索信息的任务。流行的信息检索模型包括布尔模型、向量空间模型、概率模型和语言模型。信息检索最典型和最常见的应用是搜索引擎。

机器学习技术
Machine Learning

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

映射技术
Mapping

映射指的是具有某种特殊结构的函数,或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为:两个非空集合A与B间存在着对应关系f,而且对于A中的每一个元素x,B中总有有唯一的一个元素y与它对应,就这种对应为从A到B的映射,记作f:A→B。其中,y称为元素x在映射f下的象,记作:y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域,记作f(A)。同样的,在机器学习中,映射就是输入与输出之间的对应关系。

MXNet技术
MXNet

MXNet是开源的,用来训练部署深层神经网络的深度学习框架。它是可扩展的,允许快速模型训练,并灵活支持多种语言(C ++,Python,Julia,Matlab,JavaScript, Go,R,Scala,Perl,Wolfram语言)

词法分析技术
Lexical analysis

词法分析是计算机科学中将字符序列转换为标记序列的过程。进行词法分析的程序或者函数叫作词法分析器,也叫扫描器。词法分析器一般以函数的形式存在,供语法分析器调用

元学习技术
Meta learning

元学习是机器学习的一个子领域,是将自动学习算法应用于机器学习实验的元数据上。现在的 AI 系统可以通过大量时间和经验从头学习一项复杂技能。但是,我们如果想使智能体掌握多种技能、适应多种环境,则不应该从头开始在每一个环境中训练每一项技能,而是需要智能体通过对以往经验的再利用来学习如何学习多项新任务,因此我们不应该独立地训练每一个新任务。这种学习如何学习的方法,又叫元学习(meta-learning),是通往可持续学习多项新任务的多面智能体的必经之路。

自然语言处理技术
Natural language processing

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

机器翻译技术
Machine translation

机器翻译(MT)是利用机器的力量「自动将一种自然语言(源语言)的文本翻译成另一种语言(目标语言)」。机器翻译方法通常可分成三大类:基于规则的机器翻译(RBMT)、统计机器翻译(SMT)和神经机器翻译(NMT)。

概率模型技术
probabilistic models

概率模型(Statistical Model,也稱為Probabilistic Model)是用来描述不同随机变量之间关系的数学模型,通常情况下刻画了一个或多个随机变量之间的相互非确定性的概率关系。 从数学上讲,该模型通常被表达为 ,其中 是观测集合用来描述可能的观测结果, 是 对应的概率分布函数集合。

先验知识技术
prior knowledge

先验(apriori ;也译作 先天)在拉丁文中指“来自先前的东西”,或稍稍引申指“在经验之前”。近代西方传统中,认为先验指无需经验或先于经验获得的知识。先验知识不依赖于经验,比如,数学式子2+2=4;恒真命题“所有的单身汉一定没有结婚”;以及来自纯粹理性的推断“本体论证明”

问答系统技术
Question Answering

问答系统是未来自然语言处理的明日之星。问答系统外部的行为上来看,其与目前主流资讯检索技术有两点不同:首先是查询方式为完整而口语化的问句,再来则是其回传的为高精准度网页结果或明确的答案字串。以Ask Jeeves为例,使用者不需要思考该使用什么样的问法才能够得到理想的答案,只需要用口语化的方式直接提问如“请问谁是美国总统?”即可。而系统在了解使用者问句后,会非常清楚地回答“奥巴马是美国总统”。面对这种系统,使用者不需要费心去一一检视搜索引擎回传的网页,对于资讯检索的效率与资讯的普及都有很大帮助。从系统内部来看,问答系统使用了大量有别于传统资讯检索系统自然语言处理技术,如自然语言剖析(Natural Language Parsing)、问题分类(Question Classification)、专名辨识(Named Entity Recognition)等等。少数系统甚至会使用复杂的逻辑推理机制,来区隔出需要推理机制才能够区隔出来的答案。在系统所使用的资料上,除了传统资讯检索会使用到的资料外(如字典),问答系统还会使用本体论等语义资料,或者利用网页来增加资料的丰富性。

参数技术
parameter

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

监督学习技术
Supervised learning

监督式学习(Supervised learning),是机器学习中的一个方法,可以由标记好的训练集中学到或建立一个模式(函数 / learning model),并依此模式推测新的实例。训练集是由一系列的训练范例组成,每个训练范例则由输入对象(通常是向量)和预期输出所组成。函数的输出可以是一个连续的值(称为回归分析),或是预测一个分类标签(称作分类)。

语音识别技术
Speech Recognition

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域,它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性,目前的语音识别系统只能在一定的限制条件下获得满意的性能,或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

权重技术
Weight

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

深度学习技术
Deep learning

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

英特尔机构
Intel

英特尔是计算创新领域的全球领先厂商,致力于拓展科技疆界,让最精彩体验成为可能。英特尔创始于1968年,已拥有近半个世纪产品创新和引领市场的经验。英特尔1971年推出了世界上第一个微处理器,后来又促进了计算机和互联网的革命,改变了整个世界的进程。如今,英特尔正转型成为一家数据公司,制定了清晰的数据战略,凭借云和数据中心、物联网、存储、FPGA以及5G构成的增长良性循环,提供独到价值,驱动日益发展的智能互联世界。英特尔专注于技术创新,同时也积极支持中国的自主创新,与产业伙伴携手推动智能互联的发展。基于明确的数据战略和智能互联全栈实力,英特尔瞄准人工智能、无人驾驶、5G、精准医疗、体育等关键领域,与中国深度合作。面向未来,英特尔致力于做中国高价值合作伙伴,在新科技、新经济、新消费三个方面,着力驱动产业协同创新,为实体经济增值,促进消费升级。

涉及领域
微软亚洲研究院机构
Microsoft Research Asia

微软亚洲研究院是微软公司在亚太地区设立的研究机构,也是微软在美国本土以外规模最大的一个。从1998年建院至今, 通过从世界各地吸纳而来的专家学者们的鼎力合作,微软亚洲研究院已经发展成为世界一流的计算机基础及应用研究机构,致力于推动整个计算机科学领域的前沿技术发展,并将最新研究成果快速转化到微软全球及中国本地的关键产品中,帮助消费者改善计算体验。同时,微软亚洲研究院着眼于下一代革命性技术的研究,助力公司实现长远发展战略和对未来计算的美好构想。目前,微软亚洲研究院共有200多名科学家以及300多名访问学者和实习生,主要从事五个领域的研究:1. 自然用户界面、2. 新一代多媒体、3. 以数字为中心的计算、4. 互联网搜索与在线广告、5. 计算机科学基础从微软亚洲研究院诞生出来的新技术层出不穷,它们对微软公司产生了非常重要的影响。众多从微软亚洲研究院诞生的创新技术转移到了微软产品中,包括:Office、Windows、Azure、Bing、Visual Studio、Xbox Kinect、Power BI等,以及近年来以微软小冰、Cortana、Microsoft Translator、微软认知服务等为代表的人工智能产品。同时,基于以实践驱动的研究理念,近年来微软亚洲研究院孵化了很多广受欢迎的应用和技术项目,包括微软自拍、微软小英、微软识花、微软对联/字谜、Urban Air、小鱼天气等。

模式识别技术
Pattern Recognition

模式识别(英语:Pattern recognition),就是通过计算机用数学技术方法来研究模式的自动处理和判读。 我们把环境与客体统称为“模式”。 随着计算机技术的发展,人类有可能研究复杂的信息处理过程。 信息处理过程的一个重要形式是生命体对环境及客体的识别。其概念与数据挖掘、机器学习类似。

张量技术
Tensor

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数,这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在 维空间内,有 个分量的一种量,其中每个分量都是坐标的函数,而在坐标变换时,这些分量也依照某些规则作线性变换。称为该张量的秩或阶(与矩阵的秩和阶均无关系)。 在数学里,张量是一种几何实体,或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达,记作标量的数组,但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中,表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了,它们都是二阶张量,对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

邓力人物
Li Deng

邓力,本科毕业于中国科学技术大学,随后在威斯康星大学麦迪逊分校获的硕士和博士学位。曾任微软人工智能首席科学家。邓力2009 年就同 Geoffrey Hinton 教授合作,首次提出并将深度神经网络应用到大规模语言识别中,显著提高了机器对语音的识别率,极大推动了人机交互领域的发展与进步。2017年5月,他加入了市值300亿美元的对冲基金Citadel并担任首席人工智能官。

TensorFlow技术
TensorFlow

TensorFlow是一个开源软件库,用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品,如语音识别、Gmail、Google 相册和搜索,其中许多产品曾使用过其前任软件DistBelief。

数据挖掘技术
Data mining

数据挖掘(英语:data mining)是一个跨学科的计算机科学分支 它是用人工智能、机器学习、统计学和数据库的交叉方法在相對較大型的数据集中发现模式的计算过程。 数据挖掘过程的总体目标是从一个数据集中提取信息,并将其转换成可理解的结构,以进一步使用。

文本挖掘技术
Text Mining

文本挖掘有时也被称为文字探勘、文本数据挖掘等,大致相当于文字分析,一般指文本处理过程中产生高质量的信息。高质量的信息通常通过分类和预测来产生,如模式识别。文本挖掘通常涉及输入文本的处理过程,产生结构化数据,并最终评价和解释输出。'高品质'的文本挖掘通常是指某种组合的相关性,新颖性和趣味性。

机器之心机构
Synced

机器之心Synced创立于 2014 年,是国内首家系统性关注人工智能的科技媒体。

多任务学习技术
Multi-task learning

数据分析技术
Data analysis

数据分析是一类统计方法,其主要特点是多维性和描述性。有些几何方法有助于揭示不同的数据之间存在的关系,并绘制出统计信息图,以更简洁的解释这些数据中包含的主要信息。其他一些用于收集数据,以便弄清哪些是同质的,从而更好地了解数据。 数据分析可以处理大量数据,并确定这些数据最有用的部分。