登录单位阶跃函数，又称赫维赛德阶跃函数，定义如下：
另一种定义为：
或
它是个不连续函数，其“微分”是狄拉克δ函数。它是一个几乎必然是零的随机变数的累积分布函数。
这个函数最初是在微分方程解的运算中发展出来的，它代表了一个在特定时间开关的信号，并且一直保持着不确定的状态。Oliver Heaviside将运算微积分作为一种工具，在电报通讯分析中，将其描述为1.
事实上，x=0的值在函数应用上并不重要，可以任意取。
这个函数由 Oliver Heaviside(1850–1925) 提出。
【来源： wiki， URL: https://zh.wikipedia.org/wiki/%E5%8D%95%E4%BD%8D%E9%98%B6%E8%B7%83%E5%87%BD%E6%95%B0 】
发展历史
1943年，心理学家Warren McCulloch和数理逻辑学家Walter Pitts在合作的《A logical calculus of the ideas immanent in nervous activity》论文中提出并给出了人工神经网络的概念及人工神经元的数学模型，从而开创了人工神经网络研究的时代。1949年，心理学家唐纳德·赫布在《The Organization of Behavior》论文中描述了神经元学习法则。
人工神经网络更进一步被美国神经学家Frank Rosenblatt所发展。他提出了可以模拟人类感知能力的机器，并称之为‘感知机’。1957年，在Cornell航空实验室中，Frank Rosenblatt成功在IBM 704机上完成了感知机的仿真。两年后，他又成功实现了能够识别一些英文字母、基于感知机的神经计算机——Mark1，并于1960年6月23日，展示于众。在感知器算法中，激活函数是一个简单的单位阶跃函数 (unit step function), 有时也叫赫维赛德阶跃函数 (Heaviside step function)。
深度学习的主要思想仍然很像多年前Frank Rosenblatt提出的感知机，但已经不再使用二进制赫维赛德阶跃函数(Heaviside step function)，今天的神经网络大多使用Relu激活函数。在卷积神经网络的最后一层，损失设置为多分类的对数损失函数categorical_crossentropy，这是对勒让德最小二乘法的一大改良，使用逻辑回归来解决多类别问题。另外优化算法Adam则起源于德比的梯度下降思想。此外，Tikhonov的正则化思想被广泛地应用于Dropout层和L1/L2层的正则化函数。
【来源：WIKI, URL:https://zh.wikipedia.org/wiki/%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A7%86%E8%A7%89】
主要事件
| 年份 | 事件 | 相关论文/Reference |
| 1958 | Rosenblatt, F.提出The perceptron，首个有关感知机的成果 | Rosenblatt, F. (1958). The perceptron: a probabilistic model for information storage and organization in the brain. Psychological review, 65(6), 386. |
| 1961 | Rosenblatt, F对感知机进一步证明 | Rosenblatt, F. (1961). Principles of neurodynamics. perceptrons and the theory of brain mechanisms (No. VG-1196-G-8). CORNELL AERONAUTICAL LAB INC BUFFALO NY. |
| 2011 | Glorot将ReLU用于神经网络 | Glorot, X., Bordes, A., & Bengio, Y. (2011, June). Deep sparse rectifier neural networks. In Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics (pp. 315-323). |
| 2012 | Alex将Relu应用于卷积神经网络名为AlexNet，之后Relu便在神经网络中广泛的运用 | Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems (pp. 1097-1105). |
发展分析
瓶颈
使用单位阶跃函数有可能会使得适应度不那么平滑（权重微小的变化会使得输出变化很大）因而产生负面的效果。如：这可能会影响到遗传算法的收敛速度，因为染色体小的变化可能不会产生适应度的差异，使它看不到一些有益的变化。
而如果作为激活函数来说，单位阶跃函数也有很大的局限性。在x = 0时，单位阶跃函数是不可微的，它的导数是0。这意味着梯度下降不能在更新权值和反向传播方面取得进展。
单位阶跃函数是一个非常简单直接的方法，一般只适用于单层的perceptron中，它几乎线性可分的特性，并不能广泛的运用于现实生活中的大部分应用当中。而对于x = 0不可微的特质而言， sigmoid 或 logistic function 会避免这样的局限性。
Contributor: Ruiying Cai
