郑丽慧整理

14周无监督学习课程,UC伯克利出品,含课件、视频

这份来自 UC 伯克利最新的无监督深度学习 CS294-158 课程总共 14 周,资源中包括 YouTube 高清视频和课件,绝对是不容错过的学习课程。

这份课程涵盖了两个无需标签数据的深度学习领域:深度生成模型(Deep Generative Models)和监督学习(Self-supervised Learning)。生成模型的最新进展使得可以对高维原始数据进行逼真的建模,例如自然图像,音频波形和文本语料库;自我监督学习的进步已经开始缩小监督表征学习与无监督表征学习之间的差距,以微调未见任务。

本课程将涵盖这些主题的理论基础及其新启用的应用程序,你可以观看 YouTube 讲座视频,还可以下载课件的 PDF 版。

课程链接:https://sites.google.com/view/berkeley-cs294-158-sp19/home

导师阵容介绍

这门课程的导师共有 4 位,分别是 Pieter Abbeel、Peter Chen、Jonathan Ho 和 Aravind Srinivas。

从左至右分别是 Pieter Abbeel、Peter Chen、Jonathan Ho 和 Aravind Srinivas。

自 2008 年起,Pieter Abbeel 就在加州伯克利任教,是加州伯克利机器人实验室的负责人,也是机器人公司 covariant.ai 的联合创始人,是机器人领域的专家。

陈曦(Peter Chen)、何俊森(Jonathan Ho)、阿拉维·斯里尼瓦斯(Aravind Srinivas)三人均为 Pieter Abbeel 名下的博士研究生。

14 周课程安排表

第一周(1/30)

课程 1a:课程概要

课程 1b:激励

课程 1c:基于似然的模型 I:自回归模型

第二周(2/6)

课程 2a:基于似然的模型 I:自回归模型(ctd)(与第 1 周幻灯片相同)

课程 2b:无损压缩

课程 2c:基于似然的模型 II:流模型

第三周(2/13)

课程 3a:基于似然的模型 II:流模型(ctd)(与第二周幻灯片相同)

课程 3b:潜在模型变量 I

第四周(2/13)

课程 4a:潜在模型变量 II

课程 4b:Bits-Back 编码

第五周(2/27)

课程 5a:潜在模型变量总结(和潜在模型变量 II 幻灯片相同)

课程 5b:ANS 编码(和 Bits-Back 编码的幻灯片相同)

课程 5c:隐式模型/生成对抗网络

第 X 周(3/6)

最终项目讨论环节

第六周(3/13)

课程 6a:隐式模型/生成对抗网络(与 5c 幻灯片相同)

课程 6b:非生成式表征学习(3/24 更新)

第七周(3/20)

课程 7:非生成式表现学习(与 6b 幻灯片相同)

春假周(3/27)

由学生自行决定

第八周(4/3)

课程 8a:无监督学习的优势/短板

课程 8b:半监督学习

课程 8c:伊利亚·苏茨克弗(Ilya Sutskever)嘉宾课程

第九周(4/10)

课程 9a:无监督分布对齐

课程 9b:阿约沙·埃夫罗斯(Alyosha Efros)嘉宾课程

第十周(4/17)

课程 10:语言模型(亚历克·拉德福德)

第十一周(4/24)

课程 11:强化学习中的表征学习

第十二周(5/1)

课程 12:亚伦·范登奥德(Aaron van den Oord)嘉宾课程(幻灯片不可用)

第十三周(5/8)

考前复习周:无课程

第十四周(5/15)

最终项目展示

入门深度无监督学习课程UC Berkeley
3
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

半监督学习技术

半监督学习属于无监督学习(没有任何标记的训练数据)和监督学习(完全标记的训练数据)之间。许多机器学习研究人员发现,将未标记数据与少量标记数据结合使用可以显着提高学习准确性。对于学习问题的标记数据的获取通常需要熟练的人类代理(例如转录音频片段)或物理实验(例如,确定蛋白质的3D结构或确定在特定位置处是否存在油)。因此与标签处理相关的成本可能使得完全标注的训练集不可行,而获取未标记的数据相对便宜。在这种情况下,半监督学习可能具有很大的实用价值。半监督学习对机器学习也是理论上的兴趣,也是人类学习的典范。

监督学习技术

监督式学习(Supervised learning),是机器学习中的一个方法,可以由标记好的训练集中学到或建立一个模式(函数 / learning model),并依此模式推测新的实例。训练集是由一系列的训练范例组成,每个训练范例则由输入对象(通常是向量)和预期输出所组成。函数的输出可以是一个连续的值(称为回归分析),或是预测一个分类标签(称作分类)。

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。 它给观测值和标注数据序列指定一个联合概率分布。 在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

自监督学习技术

一个例子中的内容特别多,而用一个例子做一个任务,就等于把其他的内容浪费了,因此我们需要从一个样本中找出多个任务。比如说遮挡图片的一个特定部分,用没遮挡部分来猜遮挡的部分是一个任务。那么通过遮挡不同的部分,就可以用一个样本完成不同任务。Yann Lecun描述的这个方法被业界称作「自监督学习」

推荐文章
暂无评论
暂无评论~