Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

2021年该如何选择深度学习工具?这款数据科学工作站了解一下

机器之心发布

机器之心编辑部

6 月 12 日机器之心 CVPR 2021 论文分享会上,惠普将展示一款强大的数据科学工作站。

AI 研发者们想要找到一台能够稳定跑深度学习算法的电脑,其实是一件有点挑战性的事。

DIY 是一个常见的思路,不过对于那些选择自行搭建系统的人来说,从主板到电源一切细节都要慢慢学起,还经常会遇到这样那样的问题;同时,如何保证各硬件都能协调运行,达到所需的性能,也是一大难题;另一方面,在全球芯片短缺的当下,要获得一块能满足 AI 研发需求的显卡也并非易事。在此基础上,研发者还需要自己寻找或购买软件来搭建环境,可谓相当费时费力。

惠普最近升级的 HP Z8 G4 工作站,不论在开发环境的搭建还是到硬件的布局配置,都为我们带来了一套完整的解决方案。这是一款搭载英特尔 Xeon 可扩展处理器和英伟达 Quadro RTX 显卡的高端计算设备。

2021年该如何选择<mark data-type=tech_methods data-id=01946acc-d031-4c0e-909c-f062643b7273>深度学习</mark>工具?这款<mark data-type=concepts data-id=3946938d-2b2f-4b48-9ee4-58debad2a6c4>数据科学</mark>工作站了解一下

对于 AI 学习和研究者而言,训练深度学习模型需要耗费不少精力。除了软件环境和框架,硬件配置的很多方面都会影响到实验效率。在处理模型时,硬盘会影响数据读取的速度,CPU 会影响输入效率,GPU 影响训练速度,显存大小也与 Batch Size 强相关。

如果有一台算力强大、配置合理的工作站,可以帮助我们高效完成实验,对于工作来说是相当重要的。

近日,Kaggle AI 竞赛爱好者 Gary 体验了一把用 HP Z8 G4 工作站做 AI 的强大能力。在 Gary 看来,不论是从开发环境的搭建还是到硬件的布局配置,该工作站都已经提供了非常完整与合理的优化和调整。在 HP Z8 G4 工作站的帮助下,他也在一些比赛中获得好成绩。

下面,就让我们从 Gary 的测评结果中,了解下 HP Z8 G4 工作站以及它训练 AI 模型的能力。

惠普 Z8 G4 工作站的硬件配置

和所有台式机一样,HP Z8 G4 的关键硬件是可自由选配的,不过它最多可以搭载两个 CPU、六块硬盘和三张显卡。

机箱外观

HP Z8 G4 的机箱采用了黑色磨砂铝制外壳,其设计让人感觉非常沉稳。机箱内部布局十分清晰,采用模块化设计,每一个模块都可以进行卡扣式的拆卸操作,利于扩展或升级硬件配置。

2021年该如何选择<mark data-type=tech_methods data-id=01946acc-d031-4c0e-909c-f062643b7273>深度学习</mark>工具?这款<mark data-type=concepts data-id=3946938d-2b2f-4b48-9ee4-58debad2a6c4>数据科学</mark>工作站了解一下

工作站外观与内部布局

CPU 处理器

用于测试的 HP Z8 G4 搭配了双英特尔 Xeon Gold 6254 处理器,带有 18 个核心,36 个线程,标准频率 3.1GHz,睿频频率 4.0GHz。相比最多 10 核 20 线程的酷睿 i9,「至强」的功率更大,核心更多。在涉及到复杂的数据处理或需要在 CPU 下进行模型训练的情况下,多核的 CPU 带有天然的优势。

2021年该如何选择<mark data-type=tech_methods data-id=01946acc-d031-4c0e-909c-f062643b7273>深度学习</mark>工具?这款<mark data-type=concepts data-id=3946938d-2b2f-4b48-9ee4-58debad2a6c4>数据科学</mark>工作站了解一下

CPU 参数

GPU

这台 HP Z8 G4 搭配了两块英伟达 Quadro RTX 6000 GPU,其采用「图灵」架构的 NVIDIA RTX 平台,同时利用硬件加速光线追踪深度学习和先进的着色技术大幅提升工作效率,每块 RTX 6000 都带有 24GB GDDR6 的显存和 4608 个 CUDA 核心,以及 576 个 Tensor Core,可以实现 16.3 TFLOPS 的 FP32 算力,轻松训练更深、更大的深度学习模型。

2021年该如何选择<mark data-type=tech_methods data-id=01946acc-d031-4c0e-909c-f062643b7273>深度学习</mark>工具?这款<mark data-type=concepts data-id=3946938d-2b2f-4b48-9ee4-58debad2a6c4>数据科学</mark>工作站了解一下

GPU 参数

内存和硬盘

这台 HP Z8 G4 搭配了 8×12 96GB 的内存和 2×1TB M.2 SSD 固态硬盘,按照惠普官方说明,它可最多扩展至 3TB 内存,同时机箱提供了 4 个 3.5/2.5 英寸的硬盘位,可自由扩展更大的硬盘空间。

以下是 Gary 使用 HP Z8 G4 工作站做出的测评结果。

不同 CNN 模型在 HP Z8 G4 的训练速度对比

在这里所使用的训练数据将会被 resize 到 256×256 像素,并进行一些不同的数据增强,然后进行训练。

2021年该如何选择<mark data-type=tech_methods data-id=01946acc-d031-4c0e-909c-f062643b7273>深度学习</mark>工具?这款<mark data-type=concepts data-id=3946938d-2b2f-4b48-9ee4-58debad2a6c4>数据科学</mark>工作站了解一下

训练数据

分类任务的训练

Gary 在 HP Z8 G4 上进行一些 CNN backbone 模型的训练,后续进行 float32/16 的速度对比,并且会尽可能把 GPU 利用率提供到 100%,使得每个模型都在接近相同的 GPU 利用率下计算速度。作者选了一些常规网络类型,如 ResNet,EfficientNet 来进行训练速度基准测试。

2021年该如何选择<mark data-type=tech_methods data-id=01946acc-d031-4c0e-909c-f062643b7273>深度学习</mark>工具?这款<mark data-type=concepts data-id=3946938d-2b2f-4b48-9ee4-58debad2a6c4>数据科学</mark>工作站了解一下

2021年该如何选择<mark data-type=tech_methods data-id=01946acc-d031-4c0e-909c-f062643b7273>深度学习</mark>工具?这款<mark data-type=concepts data-id=3946938d-2b2f-4b48-9ee4-58debad2a6c4>数据科学</mark>工作站了解一下

单 GPU 训练 / 测试速度对比

通过对比可以看出,得益于 RTX6000 强大的浮点运算能力,工作站的单卡训练速度也非常优秀。不论是在训练还是前向推理的模式上,由于 RTX 系列 GPU 对 Float16 推理加速已经进行了特别的优化,使得训练 / 推理速度,在大部分模型下都可以获得接近翻倍的速度提升。

2021年该如何选择<mark data-type=tech_methods data-id=01946acc-d031-4c0e-909c-f062643b7273>深度学习</mark>工具?这款<mark data-type=concepts data-id=3946938d-2b2f-4b48-9ee4-58debad2a6c4>数据科学</mark>工作站了解一下

双 GPU 训练速度对比

如果测试双卡并行训练的速度,对比单 GPU+float16 训练时,又可以获得接近一倍的速度提升,双卡并行可以充分发挥工作站强大 GPU 的性能。

数据增强处理

Gary 使用了 ResNet50 与大量复杂数据增强方式进行训练,大部分数据增强都是在 CPU 上进行处理的,需要消耗比较大 CPU 资源。如下图中的对比,在使用 32 线程与 0 线程时,速度可以差异到 10 倍以上,HP Z8 G4 带有 72 线程的 CPU,在处理数据的速度上有着较大的优势。

2021年该如何选择<mark data-type=tech_methods data-id=01946acc-d031-4c0e-909c-f062643b7273>深度学习</mark>工具?这款<mark data-type=concepts data-id=3946938d-2b2f-4b48-9ee4-58debad2a6c4>数据科学</mark>工作站了解一下

多线程对训练速度的影响

散热表现

HP Z8 G4 工作站可以保证即使是在高负载的情况下,内部温度仍保持在合理范围内。可以观察到,即使在 100% 的 GPU 使用率情况下,HP Z8 G4 的 NVIDIA RTX 6000 GPU 也只保持在 60 摄氏度左右。需要注意的是,这是在没有引入水冷散热的情况下。

2021年该如何选择<mark data-type=tech_methods data-id=01946acc-d031-4c0e-909c-f062643b7273>深度学习</mark>工具?这款<mark data-type=concepts data-id=3946938d-2b2f-4b48-9ee4-58debad2a6c4>数据科学</mark>工作站了解一下

GPU 的散热表现

总结

HP Z8 G4 不仅易于扩展,从模型的训练使用体验来看,模型训练速度快,并且其提供了较大的显存,可以更好地提升模型的性能。

惠普最新版本的说明,Z8 G4 还可以升级为 NVIDIA Quadro RTX 8000,单卡拥有 48GB 的显存,是 RTX 6000 的 2 倍,GPU 性能更为强大。对于 AI 开发者而言,HP Z8 G4 工作站是一个很好的选择。

产业
相关数据
英特尔机构

英特尔(NASDAQ: INTC)是全球半导体行业的引领者,以计算和通信技术奠定全球创新基石,塑造以数据为中心的未来。我们通过精尖制造的专长,帮助保护、驱动和连接数十亿设备以及智能互联世界的基础设施 —— 从云、网络到边缘设备以及它们之间的一切,并帮助解决世界上最艰巨的问题和挑战。

http://www.intel.cn/
相关技术
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

数据科学技术

数据科学,又称资料科学,是一门利用数据学习知识的学科,其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术,包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。

SSD技术

一种计算机视觉模型。论文发表于 2015 年(Wei Liu et al.)

光线追踪技术

在计算机图形学中,光线跟踪是一种渲染技术,用于通过将光的路径跟踪为图像平面中的像素并模拟虚拟对象对光线的接收效果来生成图像。 该技术能够产生非常高的视觉真实感,通常高于典型扫描线渲染方法,但计算成本更高。

机器之心机构

机器之心,成立于2014年,是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系,为各类人工智能从业者提供综合信息服务和产业服务。

https://www.jiqizhixin.com/
惠普机构

惠普贸易(上海)有限公司

https://www.hpstore.cn
推荐文章
暂无评论
暂无评论~