《神经网络和深度学习》系列文章十二:Hadamard积,s⊙t


出处: Michael Nielsen的《Neural Network and Deep Learning》,本节译者:哈工大SCIR本科生 王宇轩


目录

1、使用神经网络识别手写数字

2、反向传播算法是如何工作的

  • 热身:一个基于矩阵的快速计算神经网络输出的方法
  • 关于损失函数的两个假设
  • Hadamard积
  • 反向传播背后的四个基本等式
  • 四个基本等式的证明(选读)
  • 反向传播算法
  • 什么时候反向传播算法高效
  • 反向传播算法再理解

3、改进神经网络的学习方法

4、神经网络能够计算任意函数的视觉证明

5、为什么深度神经网络的训练是困难的

6、深度学习

反向传播算法是以常见线性代数操作为基础——诸如向量加法,向量与矩阵乘法等运算。但其中一个操作相对不是那么常用。具体来讲,假设s和t是两个有相同维数的向量。那么我们用s⊙t来表示两个向量的对应元素(elementwise)相乘。因此s⊙t的元素(s⊙t)j=sjtj。

这种对应元素相乘有时被称为Hadamard积(Hadamard product)或Schur积(Schur product)。我们将称它为Hadamard积。优秀的矩阵库通常会提供Hadamard积的快速实现,这在实现反向传播时将会有用。

下一节我们将介绍“反向传播背后的四个基本等式”


本文来源于哈工大SCIR

原文链接点击即可跳转

工程
返回顶部