斯坦福大学CS 230的深度学习秘籍—带你速览深度学习核心知识

近日,双胞胎兄弟Shervine Amidi和Afshine Amidi发布了一套新的深度学习秘籍,前者现在就读于斯坦福大学,后者曾就读于麻省理工,Afshine Amidi在此之前就已经分享过机器学习的相关内容了。

Shervine Amidi

Afshine Amidi

该秘籍将斯坦福大学CS 230深度学习课程中涵盖的所有重要概念汇总到一起,并详细介绍了卷积神经网络、循环神经网络以及训练深度学习模型时要记住的提示和技巧,详细内容如下图。

卷积神经网络

该文首先为大家介绍了传统CNN的体系结构,其次分体系介绍了:

  • Types of layer

  • Filter hyperparameters

  • Tuning hyperparameters

  • Commonly used activation functions

  • Object detection

  • Face verification and recognition

  • Neural style transfer

  • Architectures using computational tricks

递归神经网络

该文首先为大家介绍了传统RNN的体系结构,其次分体系介绍了:

  • Handling long term dependencies

  • Learning word representation

  • Comparing words

  • Language model

  • Machine translation

  • Attention

提示和技巧

该文为大家提供了一些关于数据处理、训练神经网络参数调整、正则等方面的一些小技巧。

AMiner学术头条
AMiner学术头条

AMiner平台由清华大学计算机系研发,拥有我国完全自主知识产权。系统2006年上线,吸引了全球220个国家/地区800多万独立IP访问,数据下载量230万次,年度访问量1000万,成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

https://www.aminer.cn/
专栏二维码
入门卷积神经网络深度学习斯坦福大学
6
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

卷积神经网络技术

卷积神经网路(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据,它可以被认为是以一定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

暂无评论
暂无评论~