《神经网络和深度学习》系列文章三十五:S型神经元的延伸


​出处: Michael Nielsen的《Neural Network and Deep Learning》。本节译者:朱小虎 、张广宇。

目录

1、使用神经网络识别手写数字

2、反向传播算法是如何工作的

3、改进神经网络的学习方法

4、神经网络可以计算任何函数的可视化证明

  • 两个预先声明
  • 一个输入和一个输出的普遍性
  • 多个输入变量
  • S型神经元的延伸
  • 修补阶跃函数
  • 结论

5、为什么深度神经网络的训练是困难的

6、深度学习


我们已经证明了由 S 型神经元构成的网络可以计算任何函数。回想下在一个 S 型神经元中,输入 导致输出 ,这里 ​ 是权重, 是偏置,而  是 S 型函数:

如果我们考虑一个不同类型的神经元,它使用其它激活函数,比如如下的 ,会怎样?


更确切地说,我们假定如果神经元有输入 ,权重 和偏置 ,那么输出为 。我们可以使用这个激活函数来得到一个阶跃函数,正如用 S 型函数做过的一样。



试着加大上图中的权重,比如 ,你将得到:


正如使用 S 型函数的时候,这导致激活函数收缩,并最终变成一个阶跃函数的很好的近似。试着改变偏置,然后你能看到我们可以设置我们想要的阶跃位置。所以我们能使用所有和前面相同的技巧来计算任何期望的函数。


 需要什么样的性质来满足这样的结果呢?我们确实需要假定  在  和  时是定义明确的。这两个界限是在我们的阶跃函数上取的两个值。我们也需要假定这两个界限彼此不同。如果它们不是这样,就没有阶跃,只是一个简单的平坦图形!但是如果激活函数  满足这些性质,基于这样一个激活函数的神经元可普遍用于计算。


问题

  • 在本书前面我们遇到过其它类型的称为修正线性单元的神经元。解释为什么这样的神经元不满足刚刚给出的普遍性的条件。找到一个普遍性的证明,证明修正线性单元可普遍用于计算。
  • 假设我们考虑线性神经元,即具有激活函数  的神经元。解释为什么线性神经元不满足刚刚给出的普遍性的条件。证明这样的神经元不能用于通用计算。

本文来源于哈工大SCIR

原文链接点击即可跳转

本文由机器之心经授权转载自哈工大SCIR,禁止二次转载。

工程
登录后评论
暂无评论
暂无评论~
返回顶部