机器学习

Machine Learning

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

简介

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

Tom M. Mitchell更正式的定义了机器学习领域所研究的算法:假如存在学习任务T,并提供经验E,还会对电脑程序的表现进行评估,如果其在任务T上的表现P随着经验E的提供而进步,那么可以说该程序是从经验E中学习了任务T。

[描述来源: Mitchell, T. (1997). Machine Learning. McGraw Hill. ]

机器学习可以根据有无监督分为监督式学习(supervised learning)和无监督学习(unsupervised learning),在前者中计算机会得到训练数据和目标结果,学习目的是根据反馈学习能够将输入映射到输出的规则,当不是每一个输入都有一一对应的目标结果或目标结果的形式有限时,监督式学习又可以分为半监督学习(semi-supervised learning)、主动学习(active learning)、强化学习(reinforcement learning)。在无监督学习中,训练集没有人为标注的结果,计算机需要自己发现输入数据中的结构规律。

另一种分类方法是根据学习任务的不同将其分为分类(classification),即训练一个模型根据已知样本的某些特征,判断一个新的样本属于哪种已知的样本类;回归(regression),即研究两个或多个变量间的相关关系;聚类(clustering),即将输入分成不同的组别或者更多的子集(subset),与分类学习不同的是聚类学习一半一般是无监督的;概率密度估计(density estimation)估计输入数据的分布;降维(dimensionality reduction),即将输入数据映射到维度更低的空间中从而降低学习任务的复杂度。

我们生活中的许多服务都有机器学习的算法的支持,如垃圾邮件的过滤是典型的分类学习,不少股票预测系统利用回归模型拟合时间序列,人脸识别等图像处理任务依赖于神经网络的快速发展等。

[描述来源:维基百科 URL:https://en.wikipedia.org/wiki/Machine_learning]

发展历史

描述

机器学习领域涉及大量不同的学科和算法,其兴起可以追溯至上世纪40年代。1943年,Warren McCulloch和Walter Pitt在发表的论文中描述了神经网络的计算模型,1949年,Hebb发明了赫布学习规则,奠定了神经网络的基石,这是最古老的也是最简单的神经元学习规则。不少我们今天仍广泛使用的算法和研究的问题都是在这一时段被提出的,如最近邻算法(KNN,T. Cover & P. Hart,1967),XOR问题(Minsky & Papert,1969)。Minsky还在1956年与约翰·麦卡锡组织了达特茅斯会议(Dartmouth Summer Research Project on Artificial Intelligence),定义了人工智能的概念。但很快,计算机计算能力的不足导致训练模型极其困难,并且由于数据获取和表示的问题,基于统计的算法并不受欢迎,机器学习的热潮开始减退。今后一段时间的研究主要集中在基于逻辑的归纳学习系统等基于符号/知识的学习。

直到1980年左右,对于机器学习的热情才又逐渐兴起。 1975年Werbos发明的反向传播算法(back-propagation)大大减少了训练神经网络所需要的时间,推动了有关神经网络的研究,直至目前反向传播也是训练神经网络的重要算法。1986年Quinlan发明了用于决策树的ID3算法,决策树作为机器学习的一大子类,而ID3算法作为决策树的基础算法之一,也在当时从另一方向推动了机器学习的研究进展。

上世纪90年代后,我们今天所熟悉的机器学习流派逐渐开始形成。1990年Robert Schapire发表论文认为一组“弱学习者”的集合可以生成一个“强学习者”,直接引领并推动了Boosting算法在机器学习领域的使用和发展。1995年Corinna Cortes和Vapnik发表的论文提出了我们目前所用的支持向量机(SVM)模型形式,也是机器学习领域最重要的突破之一。2001年Breinman发表论文和Adele Cutler一同发展、推论出随机森林算法,并将“Random Forests"注册为他们的商标。21世纪至今是机器学习领域发展的另一高峰,2007年前后,Hinton和Ruslan Salakhutdinov提出了一种在前馈神经网络中进行有效训练的算法,突破了过去由于训练多层神经网络困难而只使用一层隐含层(hidden layer)的问题,开启了深度学习(deep learning)复兴的时代。

至此,机器学习的发展逐渐到了我们目前所处的阶段,Hinton的学生——Yann LeCun——与斯坦福大学副教授吴恩达等学者是目前机器学习领域的领军人物,在自动驾驶、自然语言处理等领域都发表了许多成果。

主要事件

年份事件相关论文/Reference
1943Warren McCulloch和Walter Pitt在发表的论文中描述了神经网络的计算模型McCulloch W.; Walter P. (1943). A Logical Calculus of Ideas Immanent in Nervous Activity. Bulletin of Mathematical Biophysics. 5 (4): 115–133.
1949Hebb发明了赫布学习规则Hebb, Donald (1949). The Organization of Behavior. New York: Wiley.
1967Cover和Hart提出了KNN算法Cover T. ; Hart P. (1967). Nearest neighbor pattern classification. IEEE Transactions on Information Theory. 1(13): 21 - 27.
1969Minsky和Papert提出了著名了xor问题Minsky, M; Papert, S. (1969). Perceptron: an introduction to computational geometry. The MIT Press, Cambridge, expanded edition, 19(88), 2.
1975Werbos发明的反向传播算法Werbos, P.J. (1975). Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences.
19861986年Quinlan发明了用于决策树的ID3算法Quinlan, J. R. (1986). Induction of Decision Trees. Mach. Learn. 1(1): 81–106
1990Robert Schapire发表论文认为一组“弱学习者”的集合可以生成一个“强学习者”Schapire R. E. (1990). The Strength of Weak Learnability. Machine Learning. Boston, MA: Kluwer Academic Publishers. 5 (2): 197–227.
19951995年Corinna Cortes和Vapnik发表的论文提出了我们目前所用的支持向量机(SVM)模型形式Cortes C.; Vapnik V. N. (1995). Support-vector networks. Machine Learning. 20 (3): 273–297.
20012001年Breinman发表论文和Adele Cutler一同发展、推论出随机森林算法Breiman L. (2001). Random Forests. Machine Learning. 45 (1): 5–32.
2007Hinton和Ruslan Salakhutdinov发表了论文开启了深度学习(deep learning)的时代Hinton G. E.(2007). Learning multiple layers of representation. Trends in Cognitive Sciences, 11:428–434.

发展分析

瓶颈

目前的机器学习模型在单一学习任务上几乎都可以取得很好的结果,但在多任务学习上的表现大大下降,这意味着我们离通用人工智能还有一段距离。另外即是神经网络是黑箱模型的特征,使得不少学者担心神经网络的安全性。

未来发展方向

如果能够将模型的一部分用于新的任务,同时保证模型在旧任务的表现上不下降,那么我们在通往通用人工智能的道路上就有了关键性的突破。

Contributor: Yuanyuan Li

相关机构
  • DeepMind
  • Stanford - Artificial Intelligence Laboratory
  • Columbia University - Machine Learning Lab
  • Towards Data Science
  • MIT Machine Learning Group (MLG)
  • Amazon ML Solutions Lab
  • Machine Learning for Humans
相关人物
沃伦·麦卡洛克
沃伦·麦卡洛克
美国神经科学家和控制论学者,以其在大脑理论基础上的工作和对控制论的贡献而闻名。他与Walter Pitts一起基于阈值逻辑算法创建了计算模型。
莱奥·布雷曼
莱奥·布雷曼
1928-2005,加州大学伯克利分校的杰出统计学家、美国国家科学院的成员。他的工作有助于弥合统计学和计算机科学之间的差距,特别是在机器学习领域。他最重要的贡献是在分类和回归树方面的工作。
吴恩达
吴恩达
斯坦福大学教授,人工智能著名学者,机器学习教育者。2011年,吴恩达在谷歌创建了谷歌大脑项目,以通过分布式集群计算机开发超大规模的人工神经网络。2014年5月16日,吴恩达加入百度,负责“百度大脑”计划,并担任百度公司首席科学家。2017年3月20日,吴恩达宣布从百度辞职。2017年12月,吴恩达宣布成立人工智能公司Landing.ai,并担任公司的首席执行官。2018年1月,吴恩达成立了投资机构AI Fund。
杰弗里·辛顿
杰弗里·辛顿
杰弗里·埃弗里斯特·辛顿 FRS(英语:Geoffrey Everest Hinton)(1947年12月6日-)是一位英国出生的加拿大计算机学家和心理学家,以其在类神经网络方面的贡献闻名。辛顿是反向传播算法和对比散度算法的发明人之一,也是深度学习的积极推动者。
杨立昆
杨立昆
杨立坤(法语:Yann Le Cun,英语:Yann LeCun,1960年7月8日-)是一位计算机科学家,他在机器学习、计算机视觉、移动机器人和计算神经科学等领域都有很多贡献。他最著名的工作是在光学字符识别和计算机视觉上使用卷积神经网络 (CNN),他也被称为卷积网络之父。他同Léon Bottou和Patrick Haffner等人一起创建了DjVu图像压缩技术。他同Léon Bottou一起开发了Lush语言。
马文·明斯基
马文·明斯基
马文·李·明斯基,生于美国纽约州纽约市,美国科学家,专长于认知科学与人工智能领域,麻省理工学院人工智能实验室的创始人之一,著有几部人工智能和哲学方面的作品。1969年,因为在人工智能领域的贡献,获得图灵奖。
罗伯特·夏皮尔
罗伯特·夏皮尔
美国计算机科学家,美国国家工程院、美国国家科学院院士,曾任普林斯顿大学计算机科学系David M. Siegel '83教授,现就职于微软研究院纽约办公室。他主要研究理论和应用机器学习。 1995 年他与Yoav Freund发明了AdaBoost算法,并因此获得 2003 年哥德尔奖。
Donald Olding Hebb
Donald Olding Hebb
保罗·韦尔博斯
保罗·韦尔博斯
John Ross Quinlan
John Ross Quinlan
约翰·麦卡锡
约翰·麦卡锡
简介
相关机构
相关人物