小舟、陈萍报道

有bug!PyTorch在AMD CPU的计算机上卡死了

AMD,No?PyTorch在AMD CPU的机器上出现死锁了。

PyTorch 作为机器学习中广泛使用的开源框架,具有速度快、效率高等特点。而近年来广受好评的 AMD 处理器具有多核、多任务性能良好、性价比高等优势。开发者们一直希望二者联合起来,在 AMD 处理器上使用 PyTorch 进行深度学习的开发和研究。

前段时间发布的 PyTorch 1.8 新增了对 AMD ROCm 的支持,对于想在 AMD 上用 PyTorch 进行深度学习的开发者来说,这是一个好消息。 

但是,对使用 AMD cpu 的开发者用 PyTorch 做 AI 开发,也许没那么顺利。

这不,我们就从 PyTorch 的 Github 上发现这么一个还未解决的 issue。

GitHub 地址:https://github.com/pytorch/pytorch/issues/52142

有开发者表示:PyTorch 在 AMD CPU 的计算机上,用数据并行单机和多 GPU 训练 CNN 会导致死锁,而相同的代码在 Intel CPU 的计算机中就不会出现死锁。TensorFlow 也不会出现这种问题。

遇到了什么 bug

让我们来具体看一下这个死锁是怎么产生的?

在提交的 Issue 中,开发者表述在训练的 for 循环中,代码会一直运行,直到前向传播 output = model(images)。代码会一直停留在 model(images)阶段,而 gpu 的利用率为 0% (内存占用率不是 0),有 3 个 cpu 核的利用率达到 100%,而其他 cpu 核为 0%。使用 ctrl+c 和 ctrll+z 停止后,进程 PID 和 GPU 内存使用情况保持不变。kill 、pkill 和 fuser -k /dev/nvidia * 命令导致僵尸进程(也称为 Defunct 进程)。僵尸进程的父进程 pid 为 1,因此不能 kill 它。唯一的解决办法是重新启动系统。

代码在 3 台 Intel cpu 计算机上运行良好,但在 4 台使用 AMD cpu 的机器上就会出现上述问题。开发者进一步测试了 GTX 1080、Titan V、 Titan RTX、Quadro RTX 8000 和 RTX 3090,证明该 bug 与 GPU 模型无关。

此外,该项目还提到分布式数据并行(DDP)也存在类似的问题。

感兴趣的开发者可以按照如下配置复现一下这个 bug:

  • 使用带有 AMD cpu 和多个 NVIDIA gpu 的机器;

  • Linux、Python3.8、cuda 11.0、pytorch 1.7.1、 torchvision 0.8.2;

  • 编写代码在 torchvision 中训练 resnet18 模型;

  • 可以尝试测试数据并行 (DP) 和分布式数据并行(DDP),以检查是否都会出现这种情况。

根据该项目的描述,复现之后可能会出现:

  • 当使用 AMD cpu 时,在训练的第一个 epoch 和第一次迭代的前向传播时会发生死锁;

  • 当使用 intel cpu 时,相同的代码运行良好。

尚未解决

对于这次发现的 bug,有网友表示也存在相同的问题。

发现该 bug 的研究者在 ImagNet、mini ImageNet、 CIFAR 10 以及其他数据集上进行了实验,由于 CIFAR 10 具有轻量级、利于调试的特点,因此开发者在 CIFAR 10 上给出了相应的代码示例:

此外,有开发者表示使用 TensorFlow 则不会出现该 bug。

提交 Issue 后,PyTorch 运维团队的成员也留言参与了讨论,在被问到「测试阶段是否包含使用 AMD CPU 的用例」时,该成员表示:「在和其他队友讨论之后,我们意识到测试中没有涉及 AMD CPU 的用例,目前我们还没有办法重现这个问题。如果今年晚些时候我们通过支持更多的硬件类型改进了测试环境,将重新讨论这个问题。」

此前有网友发现了 AMD cpu 下 PyTorch 多卡并行卡死的问题,查看日志之后找到错误原因,问题才得以解决。而这次暴露的 bug 目前仍未解决。

参考链接:

https://github.com/pytorch/pytorch/issues/52142

https://blog.csdn.net/aakwnam6338/article/details/101270942

入门死锁AMD CPUPyTorch
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

TensorFlow技术

TensorFlow是一个开源软件库,用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品,如语音识别、Gmail、Google 相册和搜索,其中许多产品曾使用过其前任软件DistBelief。

AMD机构

超威半导体(中国)有限公司专门为计算机、通信和消费电子行业设计和制造各种创新的微处理器(CPU、GPU、主板芯片组、电视卡芯片等),以及提供闪存和低功率处理器解决方案,公司成立于1969年。AMD致力为技术用户——从企业、政府机构到个人消费者——提供基于标准的、以客户为中心的解决方案。

https://www.amd.com/zh-hans
推荐文章
暂无评论
暂无评论~