2020/07/30 19:23

泽南、张倩编辑

谷歌训练BERT只用23秒，英伟达A100打破八项AI性能纪录，最新MLPerf榜单出炉

在最新的 MLPerf 基准测试结果中，英伟达新出的 A100 GPU 打破了八项 AI 性能纪录，谷歌的 4096 块 TPU V3 将 VERT 的训练时间缩短到了 23 秒。华为昇腾 910 这次也跑了个分。

在距离推出不到一个月的时间里，内置超过 2000 块英伟达 A100 GPU 的全新 DGX SuperPOD 服务器就在各项针对大规模计算性能的 MLPerf 基准测试中取得了优异成绩。

在今天官方发布的 MLPerf 第三批 AI 训练芯片测试结果中，英伟达 A100 Tensor Core GPU 在全部八项基准测试中展现了最快性能。在实现总体最快的大规模解决方案方面，利用 HDR InfiniBand 实现多个 DGX A100 系统互联的服务器集群 DGX SuperPOD 系统也同样创造了业内最优性能。

行业基准测试组织 MLPerf 于 2018 年 5 月由谷歌、百度、英特尔、AMD、哈佛和斯坦福大学共同发起，目前已成为机器学习领域芯片性能的重要参考标准。此次结果已是英伟达在 MLPerf 训练测试中连续第三次展现了最强性能。早在 2018 年 12 月，英伟达就曾在 MLPerf 训练基准测试中创下了六项纪录，次年 7 月英伟达再次创下八项纪录。

最新版的 MLPerf 基准测试包含 8 个领域的 8 项测试，分别为目标检测（light-weight、heavy-weight）、翻译（recurrent、non-recurrent）、NLP、推荐系统、强化学习，参与测试的模型包括 SSD、Mask R-CNN、NMT、BERT 等。MLPerf 在强化学习测试中使用了 Mini-go 和全尺寸 19×19 围棋棋盘。该测试是本轮最复杂的测试，内容涵盖从游戏到训练的多项操作。

在最新的测试中，英伟达送交的服务器配置和测试结果使用了最新一代的安培（Ampere）架构，以及目前较为流行的 Volta 架构 V100 芯片。

英伟达表示，在评测结果中，自己是唯一一家在所有测试中均采用市售商用产品的公司。其他厂家大多数提交使用的要么是预览类别（Preview，其所用产品预计几个月后才会面市），要么使用的是仍在研究中的产品。

安培架构，市场采用速度刷新纪录

今年 5 月在 GTC 大会上正式发布的 A100 是首款基于安培架构的处理器，它不仅打破了 GPU 性能纪录，其进入市场的速度也比以往任何英伟达 GPU 更快。A100 在发布之初用于 NVIDIA 的第三代 DGX 系统，正式发布仅六周后就正式登陆谷歌云服务系统。

目前，AWS、百度云、微软 Azure 和腾讯云等全球云提供商，以及戴尔、惠普、浪潮和超微等数十家主要服务器制造商，均已推出基于 A100 的云服务或服务器产品。

英伟达 A100 在 MLPerf 单卡性能名列前茅的全部八项测试，最新的 MLPerf 榜单中还有华为昇腾 910 的成绩。

英伟达 GPU 性能的提升不仅来自硬件。测试结果显示，相较于首轮 MLPerf 训练测试中使用的基于 V100 GPU 的系统，如今的 DGX A100 系统能够以相同的吞吐率，实现高达 4 倍的性能提升。同时，得益于最新的软件优化，基于 NVIDIA V100 的 DGX-1 系统亦可实现高达 2 倍的性能提升。

谷歌：我们成绩太好，基准测试需要换了

在最新的 MLPerf 测试结果中，谷歌的 TPU 加速器也获得了很好的成绩：在预览和测试组别中，TPU 集群打破了 8 项测试纪录中的 6 项，4096 块并联的 TPU v3 可以实现高达 430 PFLOPs 的峰值算力，训练 ResNet-50、BERT、Transformer、SSD 等模型都可以在 33 秒内完成。

程序员大神，谷歌 AI 负责人 Jeff Dean 说道：「我们需要更大的基准测试，因为现在训练 ResNet-50、BERT、Transformer、SSD 这种模型只需要不到 30 秒了。」

谷歌与第二名在 6 项基准上的成绩比较。

谷歌在本次 MLPerf 训练中使用的超级计算机比在之前比赛中创下三项记录的 Cloud TPU v3 Pod 大三倍。该系统包括 4096 个 TPU v3 芯片和数百台 CPU 主机，峰值性能超过 430 PFLOPs。

在 4096 块 TPU 的加持下，谷歌的超级计算机可以在 33 秒内训练 ResNet-50、BERT、Transformer、SSD 等模型。在使用 TensorFlow 框架时，该计算机甚至可以将 BERT 的训练时间缩短到 23 秒。

在谷歌最新的 ML 超级计算机上，上述所有模型的训练都可以在 33 秒内完成。

谷歌还在最新的博客中透露了一些关于第四代 TPU 的信息。新一代 TPU 的矩阵乘法 TFLOPs 是上一代的两倍还多，内存带宽显著提高，还采用了新的互连技术。与 TPU v3 相比，TPU V4 在芯片数量类似情况下的表现平均提高了 1.7 倍。

最后，一些从业者也对深度学习框架在模型训练速度上的贡献表示感叹。

看起来，TensorFlow 2.0 的速度比 PyTorch 要快，谷歌最近开源的 TensorFlow 简化库 JAX 则效率更高。在工业应用上，我们对于框架的选择看来也要出现变化？

参考链接：

https://cloud.google.com/blog/products/ai-machine-learning/google-breaks-ai-performance-records-in-mlperf-with-worlds-fastest-training-supercomputer

https://blogs.nvidia.com/blog/2020/07/29/mlperf-training-benchmark-records/?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+nvidiablog+%28The+NVIDIA+Blog%29

https://mlperf.org/training-results-0-7

Amazon SageMaker 是一项完全托管的服务，可以帮助开发人员和数据科学家快速构建、训练和部署机器学习模型。SageMaker完全消除了机器学习过程中每个步骤的繁重工作，让开发高质量模型变得更加轻松。

现在，企业开发者可以免费领取1000元服务抵扣券，轻松上手Amazon SageMaker，快速体验5个人工智能应用实例。

工程MLPerf英伟达A100GPUTPU谷歌BERTAI 芯片技术AI

相关技术

静止机器人

英特尔机构

英特尔（NASDAQ: INTC）是全球半导体行业的引领者，以计算和通信技术奠定全球创新基石，塑造以数据为中心的未来。我们通过精尖制造的专长，帮助保护、驱动和连接数十亿设备以及智能互联世界的基础设施 —— 从云、网络到边缘设备以及它们之间的一切，并帮助解决世界上最艰巨的问题和挑战。

http://www.intel.cn/

相关技术

推理网络 OpenCV

华为机构

华为创立于1987年，是全球领先的ICT（信息与通信）基础设施和智能终端提供商。

https://www.huawei.com/cn/

相关技术

机器学习物体识别深度学习人脸识别图像分割

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary

数据科学技术

数据科学，又称资料科学，是一门利用数据学习知识的学科，其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术，包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。

来源：维基百科

SSD技术

一种计算机视觉模型。论文发表于 2015 年（Wei Liu et al.）

来源：介绍文章

TensorFlow技术

TensorFlow是一个开源软件库，用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品，如语音识别、Gmail、Google 相册和搜索，其中许多产品曾使用过其前任软件DistBelief。

来源：维基百科

推荐系统技术

推荐系统（RS）主要是指应用协同智能（collaborative intelligence）做推荐的技术。推荐系统的两大主流类型是基于内容的推荐系统和协同过滤（Collaborative Filtering）。另外还有基于知识的推荐系统（包括基于本体和基于案例的推荐系统）是一类特殊的推荐系统，这类系统更加注重知识表征和推理。

来源：机器之心

强化学习技术

强化学习是一种试错方法，其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划（Dynamic Programming）。流行的强化学习方法包括自适应动态规划（ADP）、时间差分（TD）学习、状态-动作-回报-状态-动作（SARSA）算法、Q 学习、深度强化学习（DQN）；其应用包括下棋类游戏、机器人控制和工作调度等。

来源：机器之心

百度智能云机构

百度是全球最大的中文搜索引擎，是一家互联网综合信息服务公司，更是全球领先的人工智能平台型公司。2000年1月1日创立于中关村，公司创始人李彦宏拥有“超链分析”技术专利，也使中国成为美国、俄罗斯、和韩国之外，全球仅有的4个拥有搜索引擎核心技术的国家之一。

http://www.baidu.com

相关技术

(本地/随机)集束搜索

腾讯机构

腾讯，1998年11月诞生于中国深圳，是一家以互联网为基础的科技与文化公司。我们的使命是“通过互联网服务提升人类生活品质”。腾讯秉承着 “一切以用户价值为依归”的经营理念，为亿万网民提供优质的互联网综合服务。腾讯的战略目标是“连接一切”，我们长期致力于社交平台与数字内容两大核心业务：一方面通过微信与QQ等社交平台，实现人与人、服务及设备的智慧连接；另一方面为数以亿计的用户提供优质的新闻、视频、游戏、音乐、文学、动漫、影业等数字内容产品及相关服务。我们还积极推动金融科技的发展，通过普及移动支付等技术能力，为智慧交通、智慧零售、智慧城市等领域提供有力支持。

http://www.tencent.com/

相关技术

语音识别

目标检测技术

一般目标检测（generic object detection）的目标是根据大量预定义的类别在自然图像中确定目标实例的位置，这是计算机视觉领域最基本和最有挑战性的问题之一。近些年兴起的深度学习技术是一种可从数据中直接学习特征表示的强大方法，并已经为一般目标检测领域带来了显著的突破性进展。

来源：机器之心

围棋技术

围棋是一种策略性棋类，使用格状棋盘及黑白二色棋子进行对弈。起源于中国，中国古时有“弈”、“碁”、“手谈”等多种称谓，属琴棋书画四艺之一。西方称之为“Go”，是源自日语“碁”的发音。

来源：维基百科