英伟达今日宣布其 AI 推理平台在最新 MLPerf 基准测试所有类别中创下了新的纪录，英伟达平台通过 A30 和 A10 GPU 对主流服务器提供了新的能力。
行业基准测试组织 MLPerf 于 2018 年 5 月由谷歌、百度、英特尔、AMD、哈佛和斯坦福大学共同发起，目前已成为机器学习领域芯片性能的重要参考标准，涵盖计算机视觉、医学影像、推荐系统、语音识别和自然语言处理等一系列工作负载。
此次 MLPerf 的成绩是英伟达新芯片 A30 和 A10 GPU 的首秀。这两款 GPU 采用最新制程打造，集高性能与低功耗于一身，可成为企业在 AI 推理、训练、图形和传统企业级计算工作负载等诸多方面的主流选择。据介绍，思科、戴尔、惠普（慧与科技，HPE）、浪潮和联想预计将从今年夏季开始将这两款 GPU 集成到其最高端的服务器中。
英伟达表示，能够取得如此佳绩得益于其自身 AI 平台的广度，其包含多种类型的 GPU 和 AI 软件，包括 TensorRT 和 NVIDIA Triton 推理服务器——微软、Pinterest、Postmates、T-Mobile、USPS 和微信等领先企业都部署了该平台。
英伟达加速计算部门总经理兼副总裁 Ian Buck 表示：「随着 AI 持续为各行各业带来变革，MLPerf 也成为企业的一项重要工具，能够助力其在 IT 基础设施投资方面做出明智的决策。 如今，所有主要 OEM 厂商都提交了 MLPerf 测试结果，NVIDIA 及合作伙伴的关注点不仅在于实现全球领先的 AI 性能，同时还注重通过即将面市的一系列搭载 A30 和 A10 GPU 的企业级服务器来实现 AI 普及化。」
MLPerf 1.0 版成绩出炉
在发布新型芯片的同时，英伟达还公布了其产品在 MLPerf 上的最新结果。4 月 21 日，MLPerf 发布了其 1.0 版推理基准的测试成绩。在这些结果中，英伟达是唯一一家针对数据中心和边缘类别中的每项测试都提交结果的公司，在所有 MLPerf 工作负载中均展现出顶级的性能。
英伟达的多项提交结果还基于 Triton 推理服务器，其支持来自所有主要框架的模型，可在 GPU 及 CPU 上运行，并针对批处理、实时和串流传输等不同的查询类型进行了优化，可简化在应用中部署 AI 的复杂性。在配置相当的情况下，采用 Triton 的提交结果所达到的性能接近于最优化的 GPU 实现及 CPU 实现能够达到的性能。
英伟达还开创性地使用了基于「安培」架构的多实例 GPU 性能，在单一 GPU 上使用 7 个 MIG 实例，同时运行所有 7 项 MLPerf 离线测试。该配置实现了与单一 MIG 实例独立运行几乎完全相同的性能。
这些提交结果展示了 MIG 的性能和通用性，使基础设施经理能够针对特定应用，配置适当数量的 GPU 计算，从而让每个数据中心 GPU 都能发挥最大的效用。
除英伟达提交的测试结果外，在榜单上我们还可以看到多家科技公司、OEM 厂商也提交了共 360 余项基于英伟达 GPU 的系统测试结果，包括阿里云、戴尔、富士通、技嘉、惠普、浪潮、联想和 AMD。
不断拓展的 AI 平台
英伟达 A30 和 A10 GPU 是旗下 AI 计算平台中的最新成员，当前，这一 AI 平台包括安培架构 GPU、Jetson AGX Xavier、Jetson Xavier NX，以及经优化后能够实现 AI 加速的全栈软件体系。
英伟达表示，其 AI 平台中的最新成员 A30 能够为行业标准服务器提供通用的性能，支持广泛的 AI 推理和主流企业级计算工作负载，如推荐系统、对话式 AI 和计算机视觉。
A10 GPU 则可以加速深度学习推理、交互式渲染、计算机辅助设计和云游戏，使企业能够基于通用基础设施，为混合型 AI 和图形工作负载提供支持。通过采用 NVIDIA 虚拟 GPU 软件，可改进管理，为设计师、工程师、艺术家和科学家所用的虚拟桌面提高利用率并完善配置。
这两种 GPU 填补了目前产品线的空缺，并让人们在 AI 任务负载中的选择更加细化。
英伟达预计，A30 和 A10（功耗分别为 165W 和 150W）将从今夏起用于各类服务器中，包括经严格测试以确保在各类工作负载下均可实现高性能的英伟达认证系统。
参考内容：
https://mlcommons.org/en/inference-datacenter-10/
