Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

陈萍报道

Yann LeCun主讲,纽约大学《深度学习》2021春季课程放出,免费可看

Yann LeCun 主讲的《深度学习》课程现已全部在线可看!

深度学习课程在网上一直有许多教学资源,比较出名的有吴恩达老师的《深度学习》课程。

近日,由图灵奖得主、深度学习三巨头之一的 Yann LeCun 在纽约大学数据科学中心(CDS)主讲的《深度学习》2021 年春季课程(DS-GA 1008 )现已全部在线免费可看。

本课程涉及深度学习和表示学习的最新技术,重点包括监督和无监督的深度学习、嵌入方法、度量学习、卷积和循环网络,以及这些技术在计算机视觉自然语言理解语音识别中的应用。目前这门课程只提供了英、法两种语言版本的讲义。

课程主页:https://cds.nyu.edu/deep-learning/

另外,学习这门课程的先决条件是你已经参与过 CDS 发布的 DS-GA 1001 数据科学入门课程或其他一门研究生级别的机器学习课程。

课程资料示例如上图所示,点击超链接,就能跳转到相应的带英文字幕的教学视频(YouTube )、书面讲义、课件、以及带有 PyTorch 实现的可执行 Jupyter Notebooks

该课程由 Yann LeCun 与他的学生 Alfredo Canziani 等共同执教。

Yann LeCun,美国国家工程院院士,纽约大学终身教授,2018 年图灵奖得主,卷积网络之父,与 Geoffrey Hinton、Yoshua Bengio 并称为「深度学习三巨头」。同时,他还是 Meta 首席 AI 科学家。

Alfredo Canziani 是纽约大学库兰特数学科学研究所的计算机科学研究助理教授和深度学习研究科学家,由 Kyunghyun Cho 和 Yann LeCun 教授指导。此外,他拥有里雅斯特大学的电气工程学士学位和硕士学位,2012 年在克兰菲尔德大学获得理学硕士学位,并于 2017 年在普渡大学获得博士学位。他的主要研究方向为自动驾驶的机器学习

课程目录

该课程为期 14 周在线学习本课程的学生还可以通过的 Reddit 和 Discord 平台与讲师直接进行交流。共分为 8 个主题,每个主题的具体内容包括:
  • 主题 1 介绍深度学习深度学习历史和资源;梯度下降反向传播算法神经网络推理;模块和架构;神经网络训练;

  • 主题 2 参数共享:循环和卷积网络;实践中的 ConvNet;自然信号特性和卷积;循环神经网络、vanilla 和 LSTM;

  • 主题 3 基于能量的模型(基础):基于能量的模型 (I);用于 LV-EBM 的推理;EBM 优点;基于能量的模型 (II);训练 LV-EBM;

  • 主题 4 基于能量的模型(进阶):基于能量的模型 (III);Unsup 学习以及自动编码器;基于能量的模型 (VI);从 LV-EBM 到目标 prop 到(任何)自动编码器;基于能量的模型 (V);带有 PyTorch 和 GAN 的 AEs;

  • 主题 5 关联记忆:基于能量的模型 (V);注意力以及 transformer ;

  • 主题 6 :Graph transformer 网络;图卷积网络 (I);图卷积网络 (II);

  • 主题 7 控制规划和控制;The Truck Backer-Upper;不确定性下的预测和规划

  • 主题 8 优化:优化 (I);优化 (II);

此外,该课程还涵盖视觉 SSL、低资源机器翻译、Lagrangian 逆向思维、最终项目和问答等其它主题进行探索。

想进行深度学习研究的小伙伴,你不能错过该课程,相信你会收获满满。

更多资源请参考:
  • 英文版讲义:https://atcold.github.io/NYU-DLSP21/en/week12/12/

  • YouTube 地址:https://www.youtube.com/playlist?list=PLLHTzKZzVU9e6xUfG10TkTWApKSZCzuBI

  • 课程资料:https://github.com/Atcold/NYU-DLSP21

入门免费观看视频2021春季课程深度学习Yann LeCun
2
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

自动编码器技术

自动编码器是用于无监督学习高效编码的人工神经网络。 自动编码器的目的是学习一组数据的表示(编码),通常用于降维。 最近,自动编码器已经越来越广泛地用于生成模型的训练。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

自然语言理解技术

自然语言理解是人工智能的核心课题之一,也被广泛认为是最困难和最具标志性的任务。最经典的两个人工智能思想实验——图灵测试和中文房间,都是围绕自然语言理解来构建的。自然语言理解在人工智能技术体系中的重要性不言而喻,它一方面承载着机器和人的交流,另一方面直达知识和逻辑。自然语言理解也是人工智能学者孜孜以求的圣杯,机器学习的巨擘 Michael I. Jordan 就曾经在 Reddit 上的 AMA(Ask Me Anything)栏目中畅想用十亿美元建立一个专门用于自然语言理解的实验室。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

数据科学技术

数据科学,又称资料科学,是一门利用数据学习知识的学科,其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术,包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度,其目的是进行资源的优化。常见的规划方法包括经典规划(Classical Planning)、分层任务网络(HTN)和 logistics 规划。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

机器翻译技术

机器翻译(MT)是利用机器的力量「自动将一种自然语言(源语言)的文本翻译成另一种语言(目标语言)」。机器翻译方法通常可分成三大类:基于规则的机器翻译(RBMT)、统计机器翻译(SMT)和神经机器翻译(NMT)。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

反向传播算法技术

反向传播(英语:Backpropagation,缩写为BP)是“误差反向传播”的简称,是一种与最优化方法(如梯度下降法)结合使用的,用来训练人工神经网络的常见方法。该方法计算对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法,用来更新权值以最小化损失函数。 在神经网络上执行梯度下降法的主要算法。该算法会先按前向传播方式计算(并缓存)每个节点的输出值,然后再按反向传播遍历图的方式计算损失函数值相对于每个参数的偏导数。

度量学习技术

即学习一个度量空间,在该空间中的学习异常高效,这种方法多用于小样本分类。直观来看,如果我们的目标是从少量样本图像中学习,那么一个简单的方法就是对比你想进行分类的图像和已有的样本图像。但是,正如你可能想到的那样,在像素空间里进行图像对比的效果并不好。不过,你可以训练一个 Siamese 网络或在学习的度量空间里进行图像对比。与前一个方法类似,元学习通过梯度下降(或者其他神经网络优化器)来进行,而学习者对应对比机制,即在元学习度量空间里对比最近邻。这些方法用于小样本分类时效果很好,不过度量学习方法的效果尚未在回归或强化学习等其他元学习领域中验证。

梯度下降技术

梯度下降是用于查找函数最小值的一阶迭代优化算法。 要使用梯度下降找到函数的局部最小值,可以采用与当前点的函数梯度(或近似梯度)的负值成比例的步骤。 如果采取的步骤与梯度的正值成比例,则接近该函数的局部最大值,被称为梯度上升。

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域,它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性,目前的语音识别系统只能在一定的限制条件下获得满意的性能,或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

在线学习技术

在计算机科学中,在线学习是一种机器学习方法。和立即对整个训练数据集进行学习的批处理学习技术相反,在线学习的数据按顺序可用,并在每个步骤使用未来数据更新最佳预测器。

Jupyter技术

Jupyter Notebook(此前被称为 IPython notebook)是一个交互式笔记本,支持运行 40 多种编程语言。 Jupyter Notebook 的本质是一个 Web 应用程序,便于创建和共享文学化程序文档,支持实时代码,数学方程,可视化和 markdown。 用途包括:数据清理和转换,数值模拟,统计建模,机器学习等等 。

图卷积网络技术

假设有一张图,要做分类,传统方法需要手动提取一些特征,比如纹理啊,颜色啊,或者一些更高级的特征。然后再把这些特征放到像随机森林等分类器,给到一个输出标签,告诉它是哪个类别。而深度学习是输入一张图,经过神经网络,直接输出一个标签。特征提取和分类一步到位,避免了手工提取特征或者人工规则,从原始数据中自动化地去提取特征,是一种端到端(end-to-end)的学习。相较于传统的方法,深度学习能够学习到更高效的特征与模式。

推荐文章
暂无评论
暂无评论~