趋势分析之深度学习

AMiner全新功能技术趋势分析Trend analysis(http://trend.aminer.cn)基于AMiner 2亿篇论文数据进行深入挖掘,包括对技术来源、热度、发展趋势进行研究,进而预测未来的技术前景。技术趋势分析描述了技术的出现、变迁和消亡的全过程,可以帮助研究人员理解领域的研究历史和现状,快速识别研究的前沿热点问题。

我们目前已发布了6期分析内容,具体如下:

深度学习(deep learning)的概念源于人工神经网络的研究,2006年Hinton等人提出了深度学习这一概念,深度学习机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,模仿人脑的机制来解释数据,例如图像、声音、文本等。

下面我们将用Trend analysis分析深度学习技术领域内的研究热点。

下图是当前该领域的热点技术趋势分析,通过Trend analysis分析挖掘可以发现当前该领域的热点研究话题Top10如下:

  • deep learning

  • neural network

  • speech recognition

  • feature extraction

  • hidden markov models

  • unsupervised learning

  • face recognition

  • restricted boltzmannmachines

  • boltzmann machine

  • deep neural network

根据Trend analysis的分析我们可以发现,该领域当前最热门的话题是deep learning,2009年开始deep learning的话题热度迅速上升,论文发表数量也在不断增加,尽管13年热度开始有所下降但论文发表数量仍然较大;hidden markov models和speech recognition的研究热度从2009年开始迅速上升成为领域内最热门的研究话题Top 2;变化幅度波动较大的face recognition则是在2005年-2009年近十年的期间内一度占据当时热门话题榜首,09年之后热度开始逐渐下降。

深度学习三巨头”之一的Yoshua Bengio教授是机器学习大神之一,尤其是在深度学习领域,业内戏称他与同样活跃于加拿大的“神经网络之父”Geoffrey Hinton和“卷积网络之父”Yann LeCun为“加拿大黑手党”(Canadian Mafia)。Bengio的主要研究领域是深度学习(Deep Learning)和自然语言处理(Natural Language Processing)。在30余年的深度学习研究生涯里,他发表了300多篇学术论文,累计被引用次数超13.8万次。

Yoshua Bengio出生于巴黎,成长于加拿大,现居加拿大蒙特利尔,在蒙特利尔大学(University of Montreal)计算机科学与运算系任教授。他于1991年获得加拿大麦吉尔大学(McGill University)的计算机科学博士学位。

20世纪80年代,大学时期的Bengio对深度学习产生兴趣并正式进入人工智能研究领域。那时,深度学习还是一个非常冷门的领域。从1997年深蓝击败卡斯帕罗夫到2011年沃森赢得《危险边缘》,这中间经历了漫长的人工智能寒冬,Bengio曾感慨,很长一段时间里,几乎从来没有人深入挖掘它。但Bengio似乎沉浸其中,他建立了蒙特利尔学习算法研究所(Montreal Institute For Learning Algorithms, MILA)并担任科学主任,还构建起蒙特利尔的人工智能生态系统。他是加拿大统计学习算法研究主席,也在2009年担任了机器学习顶级会议NIPS的主席(General Chair)。

去年11月7日,Bengio教授曾受邀到清华作《深度学习AI迈向人类水平的挑战》主题讲座。在讲座中,Bengio教授表示目前的人工智能距离人类水平仍然十分遥远,当前人工智能在工业应用的成果主要是基于监督学习方法。人工智能仍然面临巨大挑战,即无法像人类一样自主理解外界、与环境交流。Yoshua深度探讨了深度学习模型的具体内容,如何实现对抽象特征的多层次学习,如何更好地进行表示学习,使用判别器优化信息间的独立性、相关性和熵,BabyAI框架等话题。

演讲视频如下(由于上传限制原因,视频分成2部分,愿大家谅解。)

第1部分

第2部分

深度学习目前已经成功应用于计算机视觉语音识别自然语言处理等领域,正潜移默化地改变着我们的生活方式。

AMiner学术头条
AMiner学术头条

AMiner平台由清华大学计算机系研发,拥有我国完全自主知识产权。系统2006年上线,吸引了全球220个国家/地区800多万独立IP访问,数据下载量230万次,年度访问量1000万,成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

https://www.aminer.cn/
专栏二维码
理论深度学习
2
相关数据
区块链技术

区块链是用分布式数据库识别、传播和记载信息的智能化对等网络, 也称为价值互联网。 中本聪在2008年,于《比特币白皮书》中提出“区块链”概念,并在2009年创立了比特币社会网络,开发出第一个区块,即“创世区块”。

深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

自动驾驶技术技术

从 20 世纪 80 年代首次成功演示以来(Dickmanns & Mysliwetz (1992); Dickmanns & Graefe (1988); Thorpe et al. (1988)),自动驾驶汽车领域已经取得了巨大进展。尽管有了这些进展,但在任意复杂环境中实现完全自动驾驶导航仍被认为还需要数十年的发展。原因有两个:首先,在复杂的动态环境中运行的自动驾驶系统需要人工智能归纳不可预测的情境,从而进行实时推论。第二,信息性决策需要准确的感知,目前大部分已有的计算机视觉系统有一定的错误率,这是自动驾驶导航所无法接受的。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

数据挖掘技术

数据挖掘(英语:data mining)是一个跨学科的计算机科学分支 它是用人工智能、机器学习、统计学和数据库的交叉方法在相對較大型的数据集中发现模式的计算过程。 数据挖掘过程的总体目标是从一个数据集中提取信息,并将其转换成可理解的结构,以进一步使用。

监督学习技术

监督式学习(Supervised learning),是机器学习中的一个方法,可以由标记好的训练集中学到或建立一个模式(函数 / learning model),并依此模式推测新的实例。训练集是由一系列的训练范例组成,每个训练范例则由输入对象(通常是向量)和预期输出所组成。函数的输出可以是一个连续的值(称为回归分析),或是预测一个分类标签(称作分类)。

大数据技术技术

大数据,又称为巨量资料,指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域,它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性,目前的语音识别系统只能在一定的限制条件下获得满意的性能,或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

推荐文章
暂无评论
暂无评论~