2021/12/12 12:47

杜伟机器之心报道

纯Python实现Torch API，康奈尔副教授为自己的课程创建了DIY教学库

该项目是为纽约校区 Cornell Tech 的「机器学习工程」课程开发的。

近日，机器之心在 GitHub 上发现了一个 DIY 教学库——MiniTorch，该库适用于希望了解深度学习（DL）系统底层实质概念的机器学习工程师。

MiniTorch 是一个 Torch API 的纯 Python 重新实现，展示了从零开始构建一个张量和自动微分库。最终得到的库能够运行 Torch 代码。

项目地址：https://github.com/minitorch/minitorch

项目创建者为康奈尔大学副教授（pre-tenure）Alexander Rush，该项目是为纽约校区 Cornell Tech 的「机器学习工程」课程开发的。这是一门硕士课程，涵盖了训练、调整、调试、可视化和部署 ML 系统中的系统级问题。

在开始构建库之前，用户首先需要根据 Setup 的步骤创建自己的工作区域（workspace）。

Setup 地址：https://minitorch.github.io/setup

然后，按照如下顺序创建必要的模块：

模块 0：Fundamental

模块 1：Autodiff

模块 2：Tensors

模块 3：Efficiency

模块 4：Networks

项目需要极少的计算资源。用户可在 GitHub 上找到模块启动代码，并且每个模块都从前面的模块中获得增益。

模块 0：Fundamentals

Fundamentals 一个入门模块，主要介绍了几种用于之后模块中测试和调试的核心技术，也涵盖了一些基础的数学基础。用户在这个模块中将开始构建 MiniTorch 的一些基础设施。

所有的启动代码可见：https://github.com/minitorch/Module-0

此外，每个模块有一组指南（Guides）来帮助完成这些任务。

模块 1：Autodiff

Autodiff 是在模块 0 的基础上构建的，向用户展示了如何仅使用标量（scalar）值来创建 MiniTorch 的第一个版本（mini-MiniTorch），涵盖了系统中的关键技术——自动微分。然后，用户即可以使用代码训练一个原始模型。

所有的启动代码可见：https://github.com/minitorch/Module-1

开始前，记得首先要激活自己的虚拟环境，然后 clone 配置：

模块 2：Tensors

现在已经有了一个围绕标量构建的完全开发的自动微分系统。但是，该系统在训练期间效率低下。每个标量值需要构建一个对象，并且每个操作需要存储之前创建的所有值的图。训练需要重复上述操作，运行线性模型等模型需要对网络中的每个项进行 for 循环。

Tensors 模块引入和实现的一个张量（tensor）对象可以解决这些问题。张量将很多重复的操作组合在一起，以节省 Python 开销并将组合后的操作传递给更快的实现。

所有启动器代码可见：https://github.com/minitorch/Module-2

开始前，用户依然首先要激活虚拟环境，然后 clone 配置：

模块 3：Efficiency

除了有助于简化代码之外，张量还为加速计算提供了基础。事实上，它们确实是使用 Python 等慢速语言高效编写深度学习代码的唯一方法。然而，到目前为止，我们所做的一切都没有比基本面更快。该模块专注于利用张量编写快速代码，首先在标准 CPU 上，然后使用 GPU。

所有启动器代码可见：https://github.com/minitorch/Module-3

同模块 1 和模块 2 一样，用户需要首先激活虚拟环境，然后 clone 配置：

模块 4：Networks

我们现在拥有一个功能齐全的深度学习库，具有像 Torch 这样的真实工业系统的大部分功能。为了利用这项艰苦的工作，该模块完全基于使用软件框架。特别是，我们将构建一个图像识别系统。我们将通过为 MNIST 上的 LeNet 版本构建基础架构来实现这一点：用于数字识别的经典卷积神经网络 (CNN)，以及用于 NLP 情感分类的 1D conv。

所有启动器代码可见：https://github.com/minitorch/Module-4

用户依然需要激活虚拟环境，并 clone 配置：

此外，用户还需要安装和下载一个 MNIST 库。注意，Mac OS 用户可能需要安装 wget 来运行. sh 文件。

这样会在模块中添加一个 data / 目录。用户可以尝试用以下代码对安装进行测试：

理论MiniTorch深度学习

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科