2021/03/06 21:34

开课啦！李宏毅2021《机器学习》中文课程全面上新，纯线上，还不快跟？

「宝可梦大师」李宏毅又开课了，小板凳搬好了吗？

在机器学习教育领域，台湾大学电机工程系助理教授李宏毅以鲜明的个人风格独树一帜。在课堂上，他经常用增强现实游戏「宝可梦 Go」举例，不仅语言风趣幽默，PPT 的可视化也做得非常用心。最重要的是，他的授课语言是中文（标准台湾普通话）。因此，不少人将其推荐为入门机器学习的首选课程。

李宏毅老师往期课程截图。

2、3 月份是新学期的开始，李宏毅老师也宣布了他的《机器学习》课程上新的消息。新课程从 2 月 26 日正式开始，6 月中旬正式结束，视频、PPT 都会上传到课程主页上。

课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.html

在内容方面，这门课程重点讲解的是深度学习。虽然深度学习是一门相对进阶的技术，但李宏毅老师表示，这仍然不会改变这门课「机器学习入门课」的属性，仍然会让绝大多数人听得懂，「你可以将它作为你机器学习的第一门课」。如果你还学过林轩田的《机器学习基石与技法》，你会发现这两门课其实可以很好地衔接。

「从最基本的观念讲到最前瞻的技术」是这门课最重要的一个特色，从课程目录中我们也可以大致看出来：

课程介绍
深度学习
自注意力
机器学习理论
Transformer
生成式模型
自监督学习
可解释 AI / 对抗攻击
域自适应 / 强化学习
量子机器学习
终身压缩
元学习

以下是每节课的具体上课时间：

目前，课程主页已经上传了前两堂课的视频和 PPT。第一堂课（分两个小节）主要介绍机器学习和深度学习的基本概念。和往常不同的是，李宏毅老师在刚上课时就表示，自己会讲一个「和宝可梦完全没有关系的故事」。至于是什么故事，大家可以自己看：

第二堂课主要介绍深度学习的一些基本概念，如过拟合、局部最小值、鞍点、批次、动量等，帮你解答为什么有时候网络训练不起来，还会传授一些训练技巧。这堂课昨天才刚刚上传，现在去听应该还能抢到前排。

上课之前需要具备哪些基础知识？

虽然是一门入门课程，但这门课也要求掌握一些数学、编程、硬件等方面的基础知识。

在数学方面，你需要掌握微积分、线性代数和概率。

在编程方面，课程会提供一些基于 Python 的范例代码，如果想在这门课中学得比较好，你需要能够读懂并修改这些范例代码。老师会默认你已经学过 Python 相关语法、套件。

在硬件方面，所有的作业都可以在 Google Colab 上完成，无需自己配备 GPU 等硬件。

如果想了解课程的更多内容，可以参见以下视频：

视频链接：https://www.youtube.com/watch?v=IHk7z51zOLw

「宝可梦大师」李宏毅

李宏毅现任台湾大学电气工程助理教授，研究重点是机器学习，特别是深度学习领域。很多人选择的机器学习入门学习材料都是李宏毅老师的台大公开课视频。

因为经常把精灵宝可梦或凉宫春日等各种动漫作为算法案例，我们亲切地称他为「精灵宝可梦大师」。

因为课程形象生动，又不缺数学推导的严谨，李宏毅老师的课程视频可以说是中文世界中最好的机器学习资源。

李老师以幽默风趣的上课风格让很多晦涩难懂的机器学习理论变得轻松易懂，例如「史上第一次手推」循环神经网络计算过程，利用精灵宝可梦等形象生动地解释神经网络背地里到底都干了些什么。

此外，课程会与时俱进，前年 ML 课程就新增了 Transformer、流模型 Glow 和对抗攻击等新内容。相信今年课程对最近流行的模型会有更多的介绍。

入门课程机器学习李宏毅

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

增强现实技术

增强现实，是指透过摄影机影像的位置及角度精算并加上图像分析技术，让屏幕上的虚拟世界能够与现实世界场景进行结合与互动的技术。这种技术于1990年提出。随着随身电子产品运算能力的提升，增强现实的用途也越来越广。

来源：维基百科

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

自注意力技术

自注意力（Self-attention），有时也称为内部注意力，它是一种涉及单序列不同位置的注意力机制，并能计算序列的表征。自注意力在多种任务中都有非常成功的应用，例如阅读理解、摘要概括、文字蕴含和语句表征等。自注意力这种在序列内部执行 Attention 的方法可以视为搜索序列内部的隐藏关系，这种内部关系对于翻译以及序列任务的性能非常重要。

元学习技术

元学习是机器学习的一个子领域，是将自动学习算法应用于机器学习实验的元数据上。现在的 AI 系统可以通过大量时间和经验从头学习一项复杂技能。但是，我们如果想使智能体掌握多种技能、适应多种环境，则不应该从头开始在每一个环境中训练每一项技能，而是需要智能体通过对以往经验的再利用来学习如何学习多项新任务，因此我们不应该独立地训练每一个新任务。这种学习如何学习的方法，又叫元学习（meta-learning），是通往可持续学习多项新任务的多面智能体的必经之路。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

过拟合技术

过拟合是指为了得到一致假设而使假设变得过度严格。避免过拟合是分类器设计中的一个核心任务。通常采用增大数据量和测试样本集的方法对分类器性能进行评价。

来源：Wikipedia

微积分技术

微积分（Calculus）是高等数学中研究函数的微分(Differentiation)、积分(Integration)以及有关概念和应用的数学分支。它是数学的一个基础学科。内容主要包括极限、微分学、积分学及其应用。微分学包括求导数的运算，是一套关于变化率的理论。它使得函数、速度、加速度和曲线的斜率等均可用一套通用的符号进行讨论。积分学，包括求积分的运算，为定义和计算面积、体积等提供一套通用的方法。

来源：百度百科

线性代数技术

线性代数是数学的一个分支，它的研究对象是向量，向量空间（或称线性空间），线性变换和有限维的线性方程组。向量空间是现代数学的一个重要课题；因而，线性代数被广泛地应用于抽象代数和泛函分析中；通过解析几何，线性代数得以被具体表示。线性代数的理论已被泛化为算子理论。由于科学研究中的非线性模型通常可以被近似为线性模型，使得线性代数被广泛地应用于自然科学和社会科学中。

来源：百度百科

量子机器学习技术

量子机器学习是量子物理学和机器学习交叉的一个新兴的交叉学科研究领域。人们可以区分四种不同的方式来结合这两个父类学科。量子机器学习算法可以利用量子计算的优势来改进经典的机器学习方法，例如通过在量子计算机上开发昂贵的经典算法的有效实现。另一方面，可以应用经典的机器学习方法来分析量子系统。一般来说，可以考虑学习装置和所研究的系统都是完全量子的情况。

来源：维基百科

动量技术

优化器的一种，是模拟物理里动量的概念，其在相关方向可以加速SGD，抑制振荡，从而加快收敛

来源：An overview of gradient descent optimization algorithms

批次技术

模型训练的一次迭代（即一次梯度更新）中使用的样本集。

来源：Google ML glossary

强化学习技术

强化学习是一种试错方法，其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划（Dynamic Programming）。流行的强化学习方法包括自适应动态规划（ADP）、时间差分（TD）学习、状态-动作-回报-状态-动作（SARSA）算法、Q 学习、深度强化学习（DQN）；其应用包括下棋类游戏、机器人控制和工作调度等。

来源：机器之心

自监督学习技术

一个例子中的内容特别多，而用一个例子做一个任务，就等于把其他的内容浪费了，因此我们需要从一个样本中找出多个任务。比如说遮挡图片的一个特定部分，用没遮挡部分来猜遮挡的部分是一个任务。那么通过遮挡不同的部分，就可以用一个样本完成不同任务。Yann Lecun描述的这个方法被业界称作「自监督学习」