2022/06/04 12:23

这个夏天，跟陈天奇学「机器学习编译」中英文课程，6月17日开课！

陈天奇：「因为世界上还没有关于这个方向的系统性课程，所以这一次尝试应该会是和小伙伴们共同的探索」。

随着机器学习框架和硬件需求的发展，机器学习 / 深度学习编译正成为一个越来越受关注的话题。

在去年 12 月的一篇文章中，TVM、MXNET、XGBoost 作者，CMU 助理教授，OctoML CTO 陈天奇探讨了「新一代深度学习编译技术的变革和展望」。他指出，现在深度学习编译生态正围绕四类抽象展开：计算图表示、张量程序表示、算子库和运行环境、硬件专用指令。

不过，由于篇幅受限，陈天奇并未就这一话题展开系统、详细的讨论，这让很多对机器学习 / 深度学习编译感兴趣的小伙伴感到意犹未尽。陈天奇本人也表示，「目前互联网上也有一些关于机器学习编译的介绍，不过大部分都还是介绍其中的各个模块，或者是针对一个系统的深入内部讲解。」因此，陈天奇萌生了开一门系统性课程的想法。

6 月 2 日，陈天奇通过知乎宣布，由他主讲的机器学习编译入门课程将于近期正式开课。

原贴链接：https://zhuanlan.zhihu.com/p/523372873

陈天奇介绍说，目前课程已经确定了几点大的方向，「首先，机器学习编译本身虽然有『编译』二字，其涉及到的技术其实超过了传统编译的范畴，包含了如机器学习搜索自动化，算子库整合，和机器学习生态交互等各个方面。而在相关抽象设计上面也有许多机器学习需求本身的考量。」因此，「这次课程会集中介绍计算图、张量程序、算子库和硬件指令四个层面的抽象。而更加重要的一点考量是整合。一般对于机器学习编译的介绍都会集中在一个点上，而各大抽象的整合本身反而恰好是真正需要大家关注的地方。」

目前，课程的中英文大纲都已经在官网上线，课程视频也是中英文均有。

英文课程主页 https://mlc.ai/summer22/
中文课程主页 https://mlc.ai/summer22-zh/

以下是关于该课程的详细信息（来自课程官网）：

课程简介

随着人工智能应用在我们的日常生活中变得越来越普遍，目前存在的挑战是如何在不同的生产环境中部署最新的人工智能模型。模型和部署环境的组合爆炸给训练和推理部署带来了巨大的挑战。此外，目前落地的模型也提出了更多的要求，例如减少软件依赖、全面的模型覆盖、利用新硬件进行加速、减少内存占用，以及更强的可扩展性。

这些模型训练和推理问题，涉及机器学习编程范式、基于学习的搜索算法、编译优化以及计算运行时。这些话题的组合生成了一个全新主题——机器学习编译，并且该方向正在不断持续发展。这门课程将按照其中的关键元素，系统地研究这一新兴领域的关键要素。参与者将学习一些核心的概念，用以表示机器学习程序、自动优化技术，以及在端到端机器学习部署中优化环境依赖、内存和性能的方法。

课程受众和知识储备要求

关于这门课程的受众和要求，陈天奇表示，「这次课程本身并不需要编译和机器学习系统的背景知识。只需要对于深度学习框架有一些使用经验即可」。具体信息如下：

课程安排

从目前公布的课程安排来看，这门课程总共有 11 次课，从 6 月 17 日一直持续到 8 月 23 日，可以陪伴大家度过一个充实的夏天。

此外，这门课程还设置了专门的中英文论坛。

中文论坛：https://github.com/mlc-ai/mlc-zh/discussions
英文论坛：https://github.com/mlc-ai/mlc-en/discussions

小板凳搬好了吗？

入门编译技术深度学习

相关数据

陈天奇人物

陈天奇，华盛顿大学计算机系博士生，此前毕业于上海交通大学ACM班，研究方向为大规模机器学习。陈天奇曾获得KDD CUP 2012 Track 1第一名，并开发了SVDFeature，XGBoost，cxxnet等著名机器学习工具，是最大开源分布式机器学习项目DMLC的发起人之一。

来源：Tianqi Chen

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在维空间内，有个分量的一种量，其中每个分量都是坐标的函数，而在坐标变换时，这些分量也依照某些规则作线性变换。称为该张量的秩或阶（与矩阵的秩和阶均无关系）。在数学里，张量是一种几何实体，或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达，记作标量的数组，但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中，表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了，它们都是二阶张量，对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

来源：维基百科

XGBoost技术

XGBoost是一个开源软件库，为C ++，Java，Python，R，和Julia提供了渐变增强框架。它适用于Linux，Windows，MacOS。从项目描述来看，它旨在提供一个“可扩展，便携式和分布式的梯度提升（GBM，GBRT，GBDT）库”。除了在一台机器上运行，它还支持分布式处理框架Apache Hadoop，Apache Spark和Apache Flink。由于它是许多机器学习大赛中获胜团队的首选算法，因此它已经赢得了很多人的关注。

来源：Wikipedia

知乎机构

知乎，中文互联网综合性内容平台，自 2010 年成立以来，知乎凭借认真、专业、友善的社区氛围，独特的产品机制，以及结构化、易获得的优质内容，聚集了中文互联网科技、商业、影视、时尚、文化等领域最具创造力的人群，已成为综合性、全品类，在诸多领域具有关键影响力的内容平台。知乎将AI广泛应用与社区，构建了人、内容之间的多元连接，提升了社区的运转效率和用户体验。知乎通过内容生产、分发，社区治理等领域的AI应用，也创造了独有的技术优势和社区AI创新样本。

zhihu.com