2022/07/04 14:29

陈萍机器之心报道

PyTorch 1.12发布，正式支持苹果M1芯片GPU加速，修复众多Bug

PyTorch 1.12 正式发布，还没有更新的小伙伴可以更新了。

距离 PyTorch 1.11 推出没几个月，PyTorch 1.12 就来了！此版本由 1.11 版本以来的 3124 多次 commits 组成，由 433 位贡献者完成。1.12 版本进行了重大改进，并修复了很多 Bug。

随着新版本的发布，大家讨论最多的可能就是 PyTorch 1.12 支持苹果 M1 芯片。

其实早在今年 5 月，PyTorch 官方就已经宣布正式支持在 M1 版本的 Mac 上进行 GPU 加速的 PyTorch 机器学习模型训练。此前，Mac 上的 PyTorch 训练仅能利用 CPU，但随着 PyTorch 1.12 版本的发布，开发和研究人员可以利用苹果 GPU 大幅度加快模型训练。

在 Mac 上引入加速 PyTorch 训练

PyTorch GPU 训练加速是使用苹果 Metal Performance Shaders (MPS) 作为后端来实现的。MPS 后端扩展了 PyTorch 框架，提供了在 Mac 上设置和运行操作的脚本和功能。MPS 使用针对每个 Metal GPU 系列的独特特性进行微调的内核能力来优化计算性能。新设备将机器学习计算图和原语映射到 MPS Graph 框架和 MPS 提供的调整内核上。

每台搭载苹果自研芯片的 Mac 都有着统一的内存架构，让 GPU 可以直接访问完整的内存存储。PyTorch 官方表示，这使得 Mac 成为机器学习的绝佳平台，让用户能够在本地训练更大的网络或批大小。这降低了与基于云算力的开发相关的成本或对额外的本地 GPU 算力需求。统一内存架构还减少了数据检索延迟，提高了端到端性能。

可以看到，与 CPU 基线相比，GPU 加速实现了成倍的训练性能提升：

有了 GPU 的加持，训练和评估速度超过 CPU

上图是苹果于 2022 年 4 月使用配备 Apple M1 Ultra（20 核 CPU、64 核 GPU）128GB 内存，2TB SSD 的 Mac Studio 系统进行测试的结果。测试模型为 ResNet50（batch size = 128）、HuggingFace BERT（batch size = 64）和 VGG16（batch size = 64）。性能测试是使用特定的计算机系统进行的，反映了 Mac Studio 的大致性能。

PyTorch 1.12 其他新特性

前端 API：TorchArrow

PyTorch 官方已经发布了一个新的 Beta 版本供用户试用：TorchArrow。这是一个机器学习预处理库，可进行批量数据处理。它具有高性能，兼具 Pandas 风格，还具有易于使用的 API，以加快用户预处理工作流程和开发。

（Beta）PyTorch 中的 Complex32 和 Complex Convolutions

目前，PyTorch 原生支持复数、复数 autograd、复数模块和大量的复数运算（线性代数和快速傅里叶变换）。在包括 torchaudio 和 ESPNet 在内的许多库中，都已经使用了复数，并且 PyTorch 1.12 通过复数卷积和实验性 complex32 数据类型进一步扩展了复数功能，该数据类型支持半精度 FFT 操作。由于 CUDA 11.3 包中存在 bug，如果用户想要使用复数，官方建议使用 CUDA 11.6 包。

(Beta)Forward-mode 自动微分

Forward-mode AD 允许在前向传递中计算方向导数（或等效地雅可比向量积）。PyTorch 1.12 显着提高了 forward-mode AD 的覆盖范围。

BetterTransformer

PyTorch 现在支持多个 CPU 和 GPU fastpath 实现（BetterTransformer），也就是 Transformer 编码器模块，包括 TransformerEncoder、TransformerEncoderLayer 和 MultiHeadAttention (MHA) 的实现。在新的版本中，BetterTransformer 在许多常见场景中速度快 2 倍，这还要取决于模型和输入特征。新版本 API 支持与先前的 PyTorch Transformer API 兼容，如果现有模型满足 fastpath 执行要求，它们将加速现有模型，以及读取使用先前版本 PyTorch 训练的模型。

此外，新版本还有一些更新：

模块：模块计算的一个新 beta 特性是功能性 API。这个新的 functional_call() API 让用户可以完全控制模块计算中使用的参数；
TorchData：DataPipe 改进了与 DataLoader 的兼容性。PyTorch 现在支持基于 AWSSDK 的 DataPipes。DataLoader2 已被引入作为管理 DataPipes 与其他 API 和后端之间交互的一种方式；
nvFuser: nvFuser 是新的、更快的默认 fuser，用于编译到 CUDA 设备；
矩阵乘法精度：默认情况下，float32 数据类型上的矩阵乘法现在将在全精度模式下工作，这种模式速度较慢，但会产生更一致的结果；
Bfloat16：为不太精确的数据类型提供了更快的计算时间，因此在 1.12 中对 Bfloat16 数据类型进行了新的改进；
FSDP API：作为原型在 1.11 版中发布，FSDP API 在 1.12 版的发布中达到了测试版，并添加了一些改进。

更多内容请查看：https://pytorch.org/blog/pytorch-1.12-released/

理论GPUPyTorch 1.12

相关数据

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

VGG技术

2014年，牛津大学提出了另一种深度卷积网络VGG-Net，它相比于AlexNet有更小的卷积核和更深的层级。AlexNet前面几层用了11×11和5×5的卷积核以在图像上获取更大的感受野，而VGG采用更小的卷积核与更深的网络提升参数效率。VGG-Net 的泛化性能较好，常用于图像特征的抽取目标检测候选框生成等。VGG最大的问题就在于参数数量，VGG-19基本上是参数量最多的卷积网络架构。VGG-Net的参数主要出现在后面两个全连接层，每一层都有4096个神经元，可想而至这之间的参数会有多么庞大。

来源：7大类深度CNN架构创新综述

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

SSD技术

一种计算机视觉模型。论文发表于 2015 年（Wei Liu et al.）

来源：介绍文章

导数技术

导数（Derivative）是微积分中的重要基础概念。当函数y=f(x)的自变量x在一点x_0上产生一个增量Δx时，函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限a如果存在，a即为在x0处的导数，记作f'(x_0) 或 df(x_0)/dx。

来源：百度百科

傅里叶变换技术

傅里叶变换（法语：Transformation de Fourier、英语：Fourier transform）是一种线性积分变换，用于信号在时域（或空域）和频域之间的变换，在物理学和工程学中有许多应用。因其基本思想首先由法国学者约瑟夫·傅里叶系统地提出，所以以其名字来命名以示纪念。实际上傅里叶变换就像化学分析，确定物质的基本成分；信号来自自然界，也可对其进行分析，确定其基本成分。

来源：维基百科

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

线性代数技术

线性代数是数学的一个分支，它的研究对象是向量，向量空间（或称线性空间），线性变换和有限维的线性方程组。向量空间是现代数学的一个重要课题；因而，线性代数被广泛地应用于抽象代数和泛函分析中；通过解析几何，线性代数得以被具体表示。线性代数的理论已被泛化为算子理论。由于科学研究中的非线性模型通常可以被近似为线性模型，使得线性代数被广泛地应用于自然科学和社会科学中。

来源：百度百科