机器学习是人工智能的一个重要分支，也是如今学界、产业界的热门研究。公司、高校倾倒了许多资源发展机器学习。近期的发展也催生了在许多任务上的坚实成果，表现可与人类相媲美。
在这篇文章中，我会分享一下机器学习发展中的重要时间线，还会提一些重要的里程碑，但可能不完整。
Hebb 在 1949 年基于神经心理的学习方式第一次提出了机器学习方法，该方法被称之为 Hebbian 学习理论。该学习理论通过简单的解释展示了循环神经网络（RNN）中结点之间的相关性关系。它记忆住神经网络上任何共性信息，就像后来的记忆一样。正式地，概念可以表述为下：
若我们假设持续或反复的反射活动（或「trace」）会倾向于引起持续的细胞变化，并增加其稳定性。那么当细胞 A 的轴突足够接近以激发细胞 B，然后反复或持续地激发它，就会在一个或两个细胞中发生一些生长过程或代谢改变，如 A 的效率在另一个细胞激发了 B 时提升 [1]
1952 年 Arthur Samuel 在 IBM 开发了一款玩西洋棋的程序。该程序能够观察位置并学习一个隐式模型以在后一步棋中获得更好的策略。Samuel 用该程序下了许多盘棋，并发现程序最后能下得更好。
通过这个程序，Arthur Samuel 反驳了广义 providence 指令机不能超越所写的代码并学习类人模式这一观点。他还创造了「机器学习」这一术语，并定义为：
在没有明确指令的情况下赋予计算机能力的一个研究领域。
F. Rosenblatt
Rosenblatt 在 1957 年提出的感知机是拥有神经科学背景的第二个模型，该算法更像现在的机器学习模型。这一模型是十分重要的发现，实际上它要比 Hebbian 的想法更具适用性。Rosenblatt 通过下面的定义介绍了感知机模型：
感知机旨在说明一般智能系统的一些基本属性，它不会因为个别特例或通常不知道的东西所束缚住，也不会因为那些个别生物有机体的情况而陷入混乱。
在 3 年后，Widrow [4] 加上了 Delta 学习法则，该学习法则被用作感知机训练的可实践过程，其也通常称之为最小二乘问题。如果结合这两个观点，我们就能建立一个很好的线性分类器。然而感知机的流行被 Minsky[3] 在 1969 年提出的问题所终止，他提出了著名的逻辑异或问题（XOR problem），并指出感知机在这种线性不可分的数据分布上是失效的。这是 Minsky 对神经网络社区的攻击，此后神经网络的研究者进入了寒冬，直到 1980 年才再一次复苏。
逻辑异或问题是线性不可分数据
Minsky 后一段时间并没有什么研究结果，直到 Werbos[6] 1981 年在神经网络具体的反向传播（BP）算法中提出了多层感知机模型（MLP）才出现转机。虽然 BP 算法的概念由 Linnainmaa [5] 在 1970 年就已经以「自动微分的反向模型」为名提出来了，但 BP 算法仍然是当今神经网络架构的重要组成部分。有了这些新概念，神经网络的研究再一次加速。在 1985-1986 年，研究者相继提出了使用 BP 算法训练的多参数线性规划（MLP）问题（Rumelhart, Hinton, Williams [7]—Hetch, Nielsen[8]）。
来自于 Hetch 和 Nielsen [8]
在另一个谱系中，J.R.Quinlan [9] 于 1986 年提出了一种非常出名的机器学习算法，我们称之为决策树，更具体的说是 ID3 算法。这是另一个主流机器学习算法的突破点。此外 ID3 算法也被发布成为了一款软件，它能以简单的规划和明确的推论找到更多的现实案例，而这一点正好和神经网络黑箱模型相反。
在 ID3 算法提出来以后，研究社区已经探索了许多不同的选择或改进（如 ID4、回归树、CART 算法等），这些算法仍然活跃在机器学习领域中。
来自于 Quinlan [9]
最重要的机器学习突破之一是 Vapnik 和 Cortes[10] 在 1995 年提出的支持向量机（SVM），该算法具有非常强大的理论地位和实证结果。那一段时间机器学习研究社区也分为 NN 和 SVM 两派。然而，在 2000 年左右提出了带核函数的支持向量机后，神经网络已经无力与其竞争。SVM 在许多以前由 NN 占据的任务中获得了更好的效果。此外，SVM 相对于 NN 还能利用所有关于凸优化、泛化边际理论和核函数的深厚知识。因此 SVM 可以从不同的学科中大力推动理论和实践的改进。
来自于 Vapnik 和 Cortes [10]
通过 1991 年 Hochreiter 的论文 [40] 和 Hochreiter et. al.[11] 在 2001 年的研究，神经网络遭受到又一个质疑。因为他们的研究表明在我们应用 BP 算法学习时，NN 神经元饱和后会出现梯度损失（gradient loss）的情况。简单地说，由于神经元饱和，在一定数量的 epochs 后训练的 NN 神经元是多余的，因此 NN 非常倾向于在小 epochs 数量上产生过拟合现象。
不久之后，Freund 和 Schapire 在 1997 年提出了另一个著名的机器学习模型，即利用多个弱分类器组合成强分类器的 Adaboost 算法。该提升方法从弱学习算法出发，反复学习，得到一系列弱分类器（又称为基本分类器），然后组合这些弱分类器，构成一个强分类器。AdaBoost 通过改变训练数据的概率分布，针对不同的训练数据分布调用弱学习算法学习一系列弱分类器。AdaBoost 的做法是提高那些被前一轮弱分类器错误分类样本的权重。所以那些错误分类的样本由于其权重增加而会受到后一轮弱分类器的更大关注，从而利用多个弱分类器解决复杂问题。这种模型仍然是很多不同任务的基础，如面部识别和检测。它也是实现 PAC（Probably Approximately Correct）学习理论的方法。Freund 和 Schapire 将 Adaboost 算法描述为：
我们研究的模型可解释为将在线预测模型更宽、更抽象地扩展为通用的决策理论设定。
Breiman [12] 在 2001 年探索了另一种集成模型，该模型集成了多棵决策树，其中每一棵决策树都由样本的随机子集而构建，每一个结点都是从特征的随机子集中选择。由于该算法的性质，我们称之为随机森林（RF）。RF 在过拟合耐性有理论和实证方面的证明。实际上 AdaBoost 显示了过拟合和数据中的异常值的缺点，而 RF 是针对这些缺点更具鲁棒性的模型。RF 在许多不同的任务，如 Kaggle 比赛中也取得了很多的成功。
随机森林是树型预测的组合，其中每棵树取决于独立采样的随机向量值，并且森林中所有的树都服从相同的分布。森林的泛化误差随着树的数量变多而收敛于一个极限值 [12]。
如今，NN 的一个新纪元由深度学习而引发。深度学习指具有许多广泛连续层的 NN 模型。NN 模型的第三次崛起大概在 2005 年，其由最近的 Hinton、LeCun、Bengio、Andrew Ng 和其他研究员共同完成。下面是一些深度学习重要的主题：
GPU programming
Convolutional NNs [18][20][40]
Deconvolutional Networks [21]
Stochastic Gradient Descent [19][22]
BFGS and L-BFGS [23]
Conjugate Gradient Descent [24]
Backpropagation [40][19]
Rectifier Units
Sparsity [15][16]
Dropout Nets [26]
Maxout Nets [25]
Unsupervised NN models [14]
Deep Belief Networks [13]
Stacked Auto-Encoders [16][39]
Denoising NN models [17]
(GAN) Generative Adversarial Networks [41]
Variational Auto-Encoders [42]
AlexNet 赢得 ImageNet 挑战赛，深度学习起飞
结合以上列出的以及未列出的所有思路，神经网络模型能够在多种不同的人物上取得顶尖成果，例如目标识别、语音识别、NLP 等。然而，这并不意味着其他机器学习流派的终结。即使深度学习增长迅速，但深度学习所需要的训练成本、调整模型的大量参数上仍多有诟病。此外，SVM 因其简单性也有了更普遍的运用。
在深度学习潮流下，我们看到了图像识别要早于 NLP 成为了第一个突破点。这些问题看起来解决地很好，而且我们也看到了许多人工智能产品。下一个趋势看起来是在视频与生成式模型上面。
如果我们把人类视觉感知用时序输入来模拟，那么视频的输入量会变得更大，在计算和算法两方面也是个更难的问题，因此也就比一般的人工智能任务更重要。
生成式学习以倒序的方式处理问题，给模型一定的线索，它会生成真实的图像。这样的模型需要学习如何表达数据，而非只是进行分类。
这两种趋势都提供更智能的算法，并可能减少深度学习解决方案中所需要的大量数据。例如，有了视频输入，算法能够学习目标的多个不同方面，也能在没有 ImageNet 这样的大型数据集的情况下归纳这些信息。而生成式模型在数据稀缺的领域能很好的归纳表征知识，从而进行分类任务。
在结束之前，我想要提一下另外一个很热的机器学习话题。随着互联网、社交媒体的兴起，大数据开始崛起并极大的影响着机器学习的研究。因为源自大数据的许多问题，众多强大的机器学习算法开始变得没用。因此研究人员想出了一系列被称为 Bandit Algorithm 的新的简单模型（之前是在线学习），从而使得学习更简单、更适用于大规模问题。
参考文献：
[1] Hebb D. O., The organization of behaviour.New York: Wiley & Sons.
[2]Rosenblatt, Frank. “The perceptron: a probabilistic model for information storage and organization in the brain.” Psychological review 65.6 (1958): 386.
[3]Minsky, Marvin, and Papert Seymour. “Perceptrons.” (1969).
[4]Widrow, Hoff “Adaptive switching circuits.” (1960): 96–104.
[5]S. Linnainmaa. The representation of the cumulative rounding error of an algorithm as a Taylor
expansion of the local rounding errors. Master’s thesis, Univ. Helsinki, 1970.
[6] P. J. Werbos. Applications of advances in nonlinear sensitivity analysis. In Proceedings of the 10th
IFIP Conference, 31.8–4.9, NYC, pages 762–770, 1981.
[7] Rumelhart, David E., Geoffrey E. Hinton, and Ronald J. Williams. Learning internal representations by error propagation. No. ICS-8506. CALIFORNIA UNIV SAN DIEGO LA JOLLA INST FOR COGNITIVE SCIENCE, 1985.
[8] Hecht-Nielsen, Robert. “Theory of the backpropagation neural network.” Neural Networks, 1989. IJCNN., International Joint Conference on. IEEE, 1989.
[9] Quinlan, J. Ross. “Induction of decision trees.” Machine learning 1.1 (1986): 81–106.
[10] Cortes, Corinna, and Vladimir Vapnik. “Support-vector networks.” Machine learning 20.3 (1995): 273–297.
[11] Freund, Yoav, Robert Schapire, and N. Abe. “A short introduction to boosting.”Journal-Japanese Society For Artificial Intelligence 14.771–780 (1999): 1612.
[12] Breiman, Leo. “Random forests.” Machine learning 45.1 (2001): 5–32.
[13] Hinton, Geoffrey E., Simon Osindero, and Yee-Whye Teh. “A fast learning algorithm for deep belief nets.” Neural computation 18.7 (2006): 1527–1554.
[14] Bengio, Lamblin, Popovici, Larochelle, “Greedy Layer-Wise
Training of Deep Networks”, NIPS’2006
[15] Ranzato, Poultney, Chopra, LeCun “ Efficient Learning of Sparse Representations with an Energy-Based Model “, NIPS’2006
[16] Olshausen B a, Field DJ. Sparse coding with an overcomplete basis set: a strategy employed by V1? Vision Res. 1997;37(23):3311–25. Available at: http://www.ncbi.nlm.nih.gov/pubmed/9425546.
[17] Vincent, H. Larochelle Y. Bengio and P.A. Manzagol, Extracting and Composing Robust Features with Denoising Autoencoders, Proceedings of the Twenty-fifth International Conference on Machine Learning (ICML‘08), pages 1096–1103, ACM, 2008.
[18] Fukushima, K. (1980). Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biological Cybernetics, 36, 193–202.
[19] LeCun, Yann, et al. “Gradient-based learning applied to document recognition.”Proceedings of the IEEE 86.11 (1998): 2278–2324.
[20] LeCun, Yann, and Yoshua Bengio. “Convolutional networks for images, speech, and time series.” The handbook of brain theory and neural networks3361 (1995).
[21] Zeiler, Matthew D., et al. “Deconvolutional networks.” Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. IEEE, 2010.
[22] S. Vishwanathan, N. Schraudolph, M. Schmidt, and K. Mur- phy. Accelerated training of conditional random fields with stochastic meta-descent. In International Conference on Ma- chine Learning (ICML ’06), 2006.
[23] Nocedal, J. (1980). ”Updating Quasi-Newton Matrices with Limited Storage.” Mathematics of Computation 35 (151): 773782. doi:10.1090/S0025–5718–1980–0572855-
[24] S. Yun and K.-C. Toh, “A coordinate gradient descent method for l1- regularized convex minimization,” Computational Optimizations and Applications, vol. 48, no. 2, pp. 273–307, 2011.
[25] Goodfellow I, Warde-Farley D. Maxout networks. arXiv Prepr arXiv …. 2013. Available at: http://arxiv.org/abs/1302.4389. Accessed March 20, 2014.
[26] Wan L, Zeiler M. Regularization of neural networks using dropconnect. Proc …. 2013;(1). Available at: http://machinelearning.wustl.edu/mlpapers/papers/icml2013_wan13.Accessed March 13, 2014.
[27] Alekh Agarwal, Olivier Chapelle, Miroslav Dudik, John Langford, A Reliable Effective Terascale Linear Learning System, 2011
[28] M. Hoffman, D. Blei, F. Bach, Online Learning for Latent Dirichlet Allocation, in Neural Information Processing Systems (NIPS) 2010.
[29] Alina Beygelzimer, Daniel Hsu, John Langford, and Tong ZhangAgnostic Active Learning Without Constraints NIPS 2010.
[30] John Duchi, Elad Hazan, and Yoram Singer, Adaptive Subgradient Methods for Online Learning and Stochastic Optimization, JMLR 2011 & COLT 2010.
[31] H. Brendan McMahan, Matthew Streeter, Adaptive Bound Optimization for Online Convex Optimization, COLT 2010.
[32] Nikos Karampatziakis and John Langford, Importance Weight Aware Gradient Updates UAI 2010.
[33] Kilian Weinberger, Anirban Dasgupta, John Langford, Alex Smola, Josh Attenberg, Feature Hashing for Large Scale Multitask Learning, ICML 2009.
[34] Qinfeng Shi, James Petterson, Gideon Dror, John Langford, Alex Smola, and SVN Vishwanathan, Hash Kernels for Structured Data, AISTAT 2009.
[35] John Langford, Lihong Li, and Tong Zhang, Sparse Online Learning via Truncated Gradient, NIPS 2008.
[36] Leon Bottou, Stochastic Gradient Descent, 2007.
[37] Avrim Blum, Adam Kalai, and John Langford Beating the Holdout: Bounds for KFold and Progressive Cross-Validation. COLT99 pages 203–208.
[38] Nocedal, J. (1980). “Updating Quasi-Newton Matrices with Limited Storage”. Mathematics of Computation 35: 773–782.
[39] D. H. Ballard. Modular learning in neural networks. In AAAI, pages 279–284, 1987.
[40] S. Hochreiter. Untersuchungen zu dynamischen neuronalen Netzen. Diploma thesis, Institut f ̈ur In-
formatik, Lehrstuhl Prof. Brauer, Technische Universit ̈at M ̈unchen, 1991. Advisor: J. Schmidhuber.
[41] Goodfellow, Ian, et al. “Generative adversarial nets.” Advances in neural information processing systems. 2014.
[42] Diederik P Kingma. Auto-Encoding Variational Bayes https://arxiv.org/abs/1312.6114
原文链接：https://chatbotnewsdaily.com/since-the-initial-standpoint-of-science-technology-and-ai-scientists-following-blaise-pascal-and-804ac13d8151
