2021/05/19 10:00

陈萍编辑

7个实用小技巧，提升PyTorch技能，还带示例演示

这里有 7 个技巧可以帮助你提高 PyTorch 技能。

PyTorch 是一种非常灵活的深度学习框架，它允许通过动态神经网络（例如利用动态控流——如 if 语句或 while 循环的网络）进行自动微分。它还支持 GPU 加速、分布式训练以及各类优化任务，同时还拥有许多更简洁的特性。

今年 3 月初，官方团队发布了 PyTorch 1.8 版本，整合了自去年 10 月 1.7 版本发布以来的 3000 多次 commit，并提供了编译、代码优化、科学计算前端 API 方面的更新和新特性。值得一提的是，该版本还新增了对 AMD ROCm 的支持。

长期以来，为了充分挖掘 PyTorch 的特性，研究人员也提出了各种各样的小技巧，比如如何加快深度学习模型训练的使用、训练完模型以后如何保存模型、如何使用多卡训练以及如何在训练过程中让学习率进行衰减等。这些小技巧或多或少都可以提升 PyTorch 的使用效率。

近日，reddit 出现了一个关于 PyTorch 使用技巧的帖子：「PyTorch 的七个实用技巧」，还提供了相关示例，引发网友热议。

7 个技巧提升 PyTorch 技能

发帖人总结了 7 个有助于提升 PyTorch 使用技能的技巧。这些技巧都是发帖人经常出错或者忘记的内容总结。此外，发帖人还在 Colab 上展示了一些应用示例和视频讲解。

1、在目标设备上使用 device 参数直接创建 tensors；

2、使用 Sequential 层获得更干净的代码；

3、不要列出层 list，因为不会被 nn.Module 类正确注册。相反，应该将 list 作为未打包的参数传递到 Sequential 层中；

4、PyTorch 为 distributions 提供了一些很棒的对象和函数，但它们在 torch.distribution 中没有得到充分利用；

5、当在两个 epoch 之间存储张量指标时，确保调用. detach() 以避免内存泄漏；

6、使用 torch.cuda.empty_cache() 清除 GPU 缓存，如果你想在使用 notebook 时删除并重新创建一个大模型，这很有用；

7、在开始测试之前，不要忘了调用 model.eval()。

以下两个示例分别为技巧 6 和技巧 7 的代码示例：

技巧 6：从 GPU 删除模型示例。

技巧 7：在测试之前，调用 eval()。

网友评价

上述 7 个 PyTorch 使用技巧，网友也给出了自己的评价。一位用户评论道：「即使我用 PyTorch 工作了多年，现在我仍然忘记调用 eval()，我发誓。」

还有用户表示：「为什么不使用 nn.Sequential？出于研究目的，我经常需要检查特定层的情况，例如，检查权重、梯度、激活，甚至有条件地执行一些代码。在 nn.ModuleList 中执行这些操作非常直观，因为只需将所有层都像数组的元素一样对待，然后使用 split 分割数组索引 [i:j]，这样会更好。」

还有用户表示：「谢谢分享，这些看起来非常有用。我通过复现工作中经常使用的常见模型来深入了解 PyTorch，例如逻辑回归、决策树等。（但我们现在还没有使用 DL 的示例。）你们了解 PyTorch 中关于 ML 的一些好的资源吗，比如，你可以在 sklearn 中做的事情?」

最后，虽然发帖人强调了这 7 个技巧是 ta 自己经常犯错或者忘记的内容。不过，这些技巧或许依然适用于你。

Colab 示例地址：https://colab.research.google.com/drive/15vGzXs_ueoKL0jYpC4gr9BCTfWt935DC?usp=sharing

参考链接：

https://www.reddit.com/user/SlickBlueML/

工程PyTorch

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

逻辑回归技术

逻辑回归（英语：Logistic regression 或logit regression），即逻辑模型（英语：Logit model，也译作“评定模型”、“分类评定模型”）是离散选择法模型之一，属于多重变量分析范畴，是社会学、生物统计学、临床、数量心理学、计量经济学、市场营销等统计实证分析的常用方法。

来源：Trevor Hastie, Robert Tibshirani and Jerome Friedman (2nd ed., 2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction.维基百科

权重技术

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

来源：Google AI Glossary

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

学习率技术

在使用不同优化器（例如随机梯度下降，Adam）神经网络相关训练中，学习速率作为一个超参数控制了权重更新的幅度，以及训练的速度和精度。学习速率太大容易导致目标（代价）函数波动较大从而难以找到最优，而弱学习速率设置太小，则会导致收敛过慢耗时太长

来源：Liu, T. Y. (2009). Learning to rank for information retrieval. Foundations and Trends® in Information Retrieval, 3(3), 225-331. Wikipedia

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在维空间内，有个分量的一种量，其中每个分量都是坐标的函数，而在坐标变换时，这些分量也依照某些规则作线性变换。称为该张量的秩或阶（与矩阵的秩和阶均无关系）。在数学里，张量是一种几何实体，或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达，记作标量的数组，但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中，表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了，它们都是二阶张量，对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

来源：维基百科

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

逻辑技术

人工智能领域用逻辑来理解智能推理问题；它可以提供用于分析编程语言的技术，也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑（Propositional Logic ）以及一阶逻辑（FOL）等谓词逻辑。

来源：机器之心

AMD机构

超威半导体（中国）有限公司专门为计算机、通信和消费电子行业设计和制造各种创新的微处理器（CPU、GPU、主板芯片组、电视卡芯片等)，以及提供闪存和低功率处理器解决方案，公司成立于1969年。AMD致力为技术用户——从企业、政府机构到个人消费者——提供基于标准的、以客户为中心的解决方案。

https://www.amd.com/zh-hans