你的Mac有了专用版TensorFlow,GPU可用于训练,速度最高提升7倍

你的新 Mac 可能还在路上,但苹果表示,专为 Mac 优化的 TensorFlow 版本已经做好了,训练速度最高提升到原来的 7 倍。

对于开发者、工程师、科研工作者来说,Mac 一直是非常受欢迎的平台,也有人用 Mac 训练神经网络,但训练速度一直是一个令人头疼的问题。

上周,苹果发布了搭载 Arm 架构 M1 芯片的三款新 Mac,于是就有人想问:用它们训练神经网络能快一点吗?

今天,苹果发文表示:我们专门做了一版为 Mac 用户优化的 TensorFlow 2.4 框架,M1 版 Mac 和英特尔版 Mac 都能用。这一举动有望大幅降低模型训练和部署的门槛。

此前,在 Mac 上,TensorFlow 仅支持将 CPU 用于训练,但新的 tensorflow_macos 分支利用苹果的 ML Compute,能让 GPU 也被利用起来。苹果在博客中介绍说:「我们使用了更高级别的优化方法,比如熔合层,选择合适的设备类型,将图作为原语编译、执行并由 CPU 上的 BNNS 和 GPU 上的 Metal Performance Shader 加速。」

ML Compute 是苹果公司今年推出的新框架,可用于在 Mac 上进行 TensorFlow 模型的训练。现在,无论新的 M1 版 Mac 还是旧的英特尔版 Mac,其 CPU 和 GPU 都能用来加快训练速度。

M1 芯片包含新的 8 核 CPU 和最多 8 核的 GPU,并针对 Mac 的机器学习训练任务进行了优化。下面两张图表分别展示了针对 Mac 优化后的 TensorFlow 2.4 在不同模型训练中的性能提升:

上图展示了使用 ML Compute 分别在搭载 M1 和英特尔芯片的 13 英寸 MacBook Pro 上进行机器学习训练的情况。柱形的高度代表单批次的训练时长。可以看出,优化后的 Mac 版 TensorFlow 2.4 的训练速度得到了明显提升。在换成 M1 版的新 MacBook Pro 之后,提升就更为明显了,训练速度最高提升了 7 倍。

同样使用 ML Compute,在搭载英特尔芯片的 2019 Mac Pro 上进行常见模型的训练,性能提升也相当明显。

TensorFlow 官方表示,用户不需要对现有的 TensorFlow 脚本做任何更改,就可以使用 ML Compute 作为 TensorFlowTensorFlow 插件的后端。

Mac 版 TensorFlow 2.4 的详细入门指南可以参见:https://github.com/apple/tensorflow_macos

M1 版 Mac 对机器学习用户的影响

苹果曾在发布会上介绍说,M1 芯片将苹果的神经网络引擎引入了 Mac,实现了 15 倍的机器学习任务加速。该神经网络引擎有 16 个核心,每秒运算速度可达 11 万亿次。除此之外,配置了 ML 加速器的 CPU 和强大 GPU(称霸集显,媲美部分独显)也使得整个 M1 芯片的机器学习能力得到巨大提升。

图源:https://medium.com/disruptive-nerd/how-is-the-apple-m1-going-to-affect-machine-learning-2d9da1beef86

性能的提升毋庸置疑,但软件兼容也是一个很大的问题。在 M1 版 Mac 发布之后,不少开发者都在问:我的 VS Code/Docker/Juypter Notebook…… 还能在新 Mac 上用吗?

VSCode:最快月底就能做出来

在苹果发布会之后不久,微软 VS Code 团队就发文表示,「VS Code 将支持 ARM 版 Mac,11 月底可能推出首个预览版。」

Mac/ARM64 试验版地址 https://code.visualstudio.com/insiders/#osx

此外,微软还宣布将发布一款新的通用版 Mac Office 2019,支持新版苹果处理器。

Docker:在安排,但还没准备好

在 11 月 16 日的一篇博客中,Docker 的开发者表示,他们还没有准备好让 Docker 在 M1 版 Mac 上运行,在这之前还需要做很多准备。

Docker 表示,「我们 Docker 的目标是在新的 Mac 上提供与今天在 Docker Desktop for Mac 上同样出色的体验,并使这种过渡尽可能地无缝。」「为我们的客户打造合适的体验意味着在我们推送一个版本之前,要把不少事情做好。虽然苹果已经发布了 Rosetta 2 转译器,以帮助将应用程序转移到新的 M1 芯片上,但这并不能让我们与 Docker Desktop 一路同行。」

至于 Juypter Notebook 等软件,目前还没有官方消息放出。不过,随着苹果不断将生态打通,正在有越来越多的软件开发商表示将开发适配 M1 版 Mac 的新产品。

参考链接:
https://machinelearning.apple.com/updates/ml-compute-training-on-mac
https://medium.com/disruptive-nerd/how-is-the-apple-m1-going-to-affect-machine-learning-2d9da1beef86
https://www.docker.com/blog/apple-silicon-m1-chips-and-docker/

产业苹果M1苹果TensorFlow
相关数据
英特尔机构

英特尔(NASDAQ: INTC)是全球半导体行业的引领者,以计算和通信技术奠定全球创新基石,塑造以数据为中心的未来。我们通过精尖制造的专长,帮助保护、驱动和连接数十亿设备以及智能互联世界的基础设施 —— 从云、网络到边缘设备以及它们之间的一切,并帮助解决世界上最艰巨的问题和挑战。

http://www.intel.cn/
相关技术
机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

TensorFlow技术

TensorFlow是一个开源软件库,用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品,如语音识别、Gmail、Google 相册和搜索,其中许多产品曾使用过其前任软件DistBelief。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

批次技术

模型训练的一次迭代(即一次梯度更新)中使用的样本集。

推荐文章
暂无评论
暂无评论~