机器之心原创

2022/04/06 17:31

让模型训练速度提升2到4倍，「彩票假设」作者的这个全新PyTorch库火了

登陆 GitHub 以来，这个项目已经收获了 800 多个 Star。

随着越来越多的企业转向人工智能来完成各种各样的任务，企业很快发现，训练人工智能模型是昂贵的、困难的和耗时的。

一家公司 MosaicML 的目标正是找到一种新的方法来应对这些层出不穷的挑战。近日， MosaicML 推出了一个用于高效神经网络训练的 PyTorch 库「Composer」，旨在更快地训练模型、降低成本，并获得表现更好的模型。

Composer 是一个用 PyTorch 编写的开源库，旨在集成更好的算法来加速深度学习模型的训练，同时实现更低的成本和更高的准确度。目前项目在 GitHub 平台已经收获了超过 800 个 Star。

项目地址：https://github.com/mosaicml/composer

Composer 具有一个功能界面（类似于 torch.nn.functional），用户可以将其集成到自己的训练循环中；它还包含一个 Trainer，可以将高效的训练算法无缝集成到训练循环中。

项目中已经部署了 20 几种加速方法，只需几行代码就能应用在用户的训练之中，或者与内置 Trainer 一起使用。

总体而言，Composer 具备几个亮点：

20 多种加速计算机视觉和语言建模训练网络的方法。当 Composer 为你完成工作时，你就不需要浪费时间尝试复现研究论文。
一个易于使用的 Trainer，其编写的目的是尽可能提高性能，并集成了高效训练的最佳实践。
所有加速方法的功能形式，都允许用户将它们集成到现有的训练循环中。
强大、可重现的基线，让你尽可能地快开始工作。

那么，使用 Composer 能够获得怎样的训练效果提升呢？

多个模型系列的训练中减少的时间和成本。

据项目信息介绍，使用 Composer 训练，你可以做到：

ResNet-101 在 ImageNet 上的准确率在 1 小时 30 分钟内达到 78.1%（AWS 上 49 美元），比基线快 3.5 倍，便宜 71%。
ResNet-50 在 ImageNet 上的准确率在 1 小时 14 分钟内达到 76.51%（AWS 上 40 美元），比基线快 2.9 倍，便宜 65%。
在 4 小时 27 分钟内将 GPT-2 在 OpenWebText 上的困惑度提高到 24.11（AWS 上 145 美元），比基线快 1.7 倍，便宜 43%。

在 Reddit 社区，项目作者 Jonathan Frankle 现身说法，他介绍说，Composer 是自己关于彩票假设研究的直接延续。

2019 年，Frankle 和 Carbin 的《The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks》获得了 ICLR 2019 的最佳论文荣誉。在这篇论文中，Frankle 等人发现标准的剪枝技术会自然地发现子网络，这些子网络经过初始化后能够有效进行训练。二人基于这些结果提出了「彩票假设」（lottery ticket hypothesis）：密集、随机初始化的前馈网络包含子网络（「中奖彩票」），当独立训练时，这些子网络能够在相似的迭代次数内达到与原始网络相当的测试准确率。

目前，Frankle 是 Mosaic 公司的首席科学家，推动了 Composer 的打造。

这次，Frankle 表示，深度学习背后的「数学」并没有什么神圣之处。从根本上改变「数学」是完全没问题的（比如删除很多权重）。你将获得与其他方式不同的网络，但这不像原始网络是「正确的」网络。如果改变「数学」让你的网络变得同样好（例如同样的准确性）而速度更快，那就是胜利。

如果你愿意打破深度学习背后的「数学」，彩票假设就是一个例子。Composer 有几十种技术可以做到这一点，并且拥有与之匹配的加速。

同时，项目作者们也将 Composer 与 PyTorch Lightning 进行了对比：「PyTorch Lightning 是一个具有不同 API 的不同训练库。实际上，我们在 PTL 之上构建了我们的第一个 Composer 实现。」

PyTorch Lightning 的创建者 William Falcon 也出现在了后续讨论中，但二人似乎未达成共识。

目前，Composer 的训练器可以应用于众多模型，包括对于 Resnet-50、Resnet-101、UNet 和 GPT-2 的加速。

作者表示，未来还将扩展至更多模型，比如 ViT、BERT、分割和目标检测等等。

工程模型训练PyTorch

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

权重技术

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

来源：Google AI Glossary

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

剪枝技术

剪枝顾名思义，就是删去一些不重要的节点，来减小计算或搜索的复杂度。剪枝在很多算法中都有很好的应用，如：决策树，神经网络，搜索算法,数据库的设计等。在决策树和神经网络中，剪枝可以有效缓解过拟合问题并减小计算复杂度；在搜索算法中，可以减小搜索范围，提高搜索效率。

来源：Wikipedia

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary

GPT-2技术

GPT-2是OpenAI于2019年2月发布的基于 transformer 的大型语言模型，包含 15 亿参数、在一个 800 万网页数据集上训练而成。据介绍，该模型是对 GPT 模型的直接扩展，在超出 10 倍的数据量上进行训练，参数量也多出了 10 倍。在性能方面，该模型能够生产连贯的文本段落，在许多语言建模基准上取得了 SOTA 表现。而且该模型在没有任务特定训练的情况下，能够做到初步的阅读理解、机器翻译、问答和自动摘要。

来源：OpenAI博客

目标检测技术

一般目标检测（generic object detection）的目标是根据大量预定义的类别在自然图像中确定目标实例的位置，这是计算机视觉领域最基本和最有挑战性的问题之一。近些年兴起的深度学习技术是一种可从数据中直接学习特征表示的强大方法，并已经为一般目标检测领域带来了显著的突破性进展。

来源：机器之心