2020/05/22 10:09

ZDNET编译自

AI芯片的2020：英伟达和他的挑战者们

包括Nvidia的竞争对手在内，很少有人会对Nvidia今天在AI芯片京珠中占主导地位这一事实提出异议。而该公司新发布的ampere AI芯片更是在过去一周里出尽了风头。很多人也从多个角度进行了解读。我们也从其中一个角度分析一下。

英伟达的双重底线

Ray的分析要点是通过新一代芯片来知晓Nvidia的意图——那就是提供一个既可以用于神经网络“训练”的芯片系列（通过一系列示例中首先开发神经网络的）；同时也可以用于推断，是根据新的传入数据进行预测的阶段。

Ray指出，这与当今的情况有所不同，在今天的情况下，不同的Nvidia芯片出现在不同的计算机系统中以进行训练或推理。而英伟达希望对AI“商店”进行经济论证，最好的结果是购买能够同时完成这两项任务的、基于英伟达新品啊的系统。他接着补充说，”

英伟达GPU工程高级副总裁乔纳·阿尔本（Jonah Alben）告诉分析师，英伟达已经尽力将英伟达的前代芯片Volta推向了高潮。但配备了540亿个晶体管的Ampere的性能更强调，可以执行5 petaflops的性能，大约是Volta的20倍。

因此，英伟达追求双底线：更好的性能和更好的经济性。让我们回想一下，最近Nvidia还增加了对Arm CPU的支持。分析师表示，尽管目前Arm处理器的性能可能无法与Intel相提并论，但其较低的电力需求也使其成为数据中心的诱人选择。

在软件方面，除了支持Apache Spark外，Nvidia还推出了Jarvis——一个用于构建会话AI服务的新应用程序框架。Nvidia指出，要提供交互式的个性化体验，公司需要在针对其自身产品和客户需求的数据上训练其基于语言的应用程序。

但是，从头开始构建服务需要深厚的AI专业知识、大量数据以及用于训练模型的计算资源，以及需要用新数据定期更新模型的软件。Jarvis旨在通过提供对话式AI的端到端深度学习 pipeline来应对这些挑战。

Jarvis包括最新的深度学习模型，可以使用Nvidia NeMo进行进一步的微调，使用TensorRT进行推理优化，并使用Nvidia的GPU目录NGC上的Helm图表将其部署在云中和边缘-优化的软件。

英特尔和GRAPHCORE：高调挑战者

我们一次又一次指出，Nvidia的领先不仅仅体现在硬件。实际上，Nvidia的软件和合作伙伴生态系统是竞争对手更加难以匹敌的部分。但是，竞争对手也在采取行动。一些竞争对手可能会在价格上挑战英伟达，另一些可能会在性能上挑战英伟达。让我们看看挑战者在做什么。

英特尔之前一直在研究其Nervana技术。但在2019年底，英特尔宣布以20亿美元的价格收购了初创公司Habana Labs之后，这在市场上引起了轰动。正如分析师Karl Freund指出的那样，在收购之后，英特尔一定致力于将其AI加速从Nervana技术切换到Habana Labs。

Freund还强调了软件堆栈的重要性。他指出，英特尔的AI软件堆栈仅次于Nvidia，其分层结构（通过抽象）提供对多种芯片的支持（包括Xeon，Nervana，Movidius甚至是Nvidia GPU）。Habana Labs具有两个独立的AI芯片，用于训练的Gaudi和用于推理的Goya。

英特尔展望Gaudi和Goya可以与英伟达的芯片同台竞技。从去年发布的MLPerf推断基准测试结果看来，Goya也是有优势的。但是，我们必须拭目以待，它与Nvidia的Ampere和Nvidia不断发展的软件堆栈相比有何优势。

另一个引人注目的挑战者是GraphCore。这家总部位于英国的AI芯片制造商采用从头开始设计的架构，以实现高性能和独角兽身份。GraphCore也一直忙于扩展其市场覆盖范围并开发其软件。

从戴尔的服务器到Microsoft Azure的云以及百度的PaddlePaddle硬件生态系统，GraphCore都有许多重要的交易。GraphCore还一直在开发自己的软件栈Poplar。并在上个月更新了一个新版本和一个新的分析工具。

如果说英特尔还有很多工作要做，这当然也适用于GraphCore。但是，两家供应商的发展轨迹似乎相似。旨在在硬件级别上进行创新，希望能够通过针对AI工作负载量身定制的全新且完全不同的方法来挑战Nvidia。同时，致力于他们的软件堆栈，并建立他们的市场地位。

Run:AI ——AI的软件解决方案对AI硬件进行分级

最后但并非最不重要的一点是，一些挑战者不太引人注目并且采用了不同的方法。初创公司Run：AI最近就浮出了水面，他们宣布获得了1300万美元的融资，这听起来像是一种非传统的解决方案：Run：AI并未提供另一种AI芯片，而是提供了一个软件层来加速本地机器学习工作负载的执行，这也可以在云中实现。

该公司与AWS紧密合作，并且是VMware技术合作伙伴。它的核心价值主张是充当一个管理平台，以弥合不同AI工作负载和各种硬件芯片之间的鸿沟，并运行一个真正高效且快速的AI计算平台。

Run：AI最近推出了针对Kubernetes深度学习工作负载的部分GPU共享。分数GPU系统针对诸如推理之类的轻量级AI任务，为数据科学和AI工程团队提供了在单个GPU上同时运行多个工作负载的能力，从而降低了成本。

运行：AI作为运行AI工作负载的硬件之上的抽象层

Run：AI联合创始人兼首席执行官Omri Geller告诉记者，Nvidia宣布的有关“部分化” GPU或在单个GPU内运行单独作业的公告对于GPU硬件而言是革命性的。Geller说，已经看到许多客户有这种需求，尤其是在推理工作负载方面：为什么要在不需要GPU的完整计算和内存的工作中使用完整的GPU呢？

Geller回答道：“我们认为，在软件堆栈中要比在硬件级别更易于管理，其原因是灵活性。虽然硬件切片可创建具有固定数量的内存和计算核心的'较小的GPU'，但软件解决方案可实现将GPU划分为任意数量的较小GPU，每个GPU具有选定的内存占用量和计算能力。”

“此外，可以使用任何GPU或AI加速器（不仅限于Ampere服务器）使用软件解决方案进行细分，从而提高了公司所有计算资源的TCO，而不仅仅是最新的。实际上，这就是Run：AI的分数GPU功能实现的功能。”Geller补充说

INACCEL 的想法

InAccel是一家希腊初创公司，围绕提供FPGA管理器的前提而构建，该管理器允许使用简单的编程模型跨FPGA资源集群在大数据集中进行分布式加速。创始人兼首席执行官Chris Kachris告诉记者，关于FPGA与GPU的优势，尤其是对于AI工作负载，存在多种争议。

他同时指出，与深度神经网络（DNN）的GPU相比，FPGA在某些情况下可以提供更高的能源效率（性能/瓦特），并且还可以实现更低的延迟。Kachris补充说，对于DNN，FPGA可以使用小批量实现高吞吐量，从而大大降低了延迟。在延迟和能效至关重要的应用中，FPGA可能占优势。

但是，FPGA集群的可扩展部署仍然具有挑战性，这是InAccel不能解决的问题。其解决方案旨在提供FPGA集群的可扩展部署，证明FPGA世界缺少抽象的类OS层。InAccel的协调器使FPGA集群的部署，即时扩展和自动化资源管理变得容易。

Kachris比喻InAccel到VMware / Kubernetes，或Run.ai / Bitfusion为FPGA世界。他还声称InAccel使FPGA对软件开发人员来说更容易。他还指出，像英特尔和赛灵思这样的FPGA供应商已经认识到强大的生态系统的重要性，并结成强大的联盟来帮助扩展其生态系统：

“由于不同的平台各有利弊，云供应商似乎必须提供多样化和异构的基础架构。这些供应商中的大多数都提供完全异构的资源（CPU，GPU，FPGA和专用加速器），让用户选择最佳资源。

一些云供应商（例如AWS和阿里巴巴）已经开始部署FPGA，因为他们看到了潜在的好处。但是，由于用户需要熟悉FPGA工具流程，因此FPGA部署仍然具有挑战性。InAccel的目的使软件开发人员能够使用熟悉的PaaS和SaaS模型以及高级框架（Spark，Skcikit-learn，Keras）获得FPGA的所有优势，从而使FPGA在云中的部署更加容易。”

对冲您的赌注

要成为该领域的领导者，需要的不仅仅是快速的芯片。成本也是潜在用户需要考虑的重要一方面，生态系统和软件是另一方面。考虑到所有因素，Nvidia似乎仍然领先于竞争对手。

但是，有趣的是，这种现象已越来越像单一文化。创新来自不同的地方，形式和形式也不同。Nvidia的Alben也承认这一点。当然，云供应商，服务器供应商和应用程序构建者似乎已经注意到了这一点。

在AI芯片市场对冲，可能是明智的选择。

半导体行业观察

最有深度的半导体新媒体，实时、专业、原创、深度，30万半导体精英关注！专注观察全球半导体最新资讯、技术前沿、发展趋势。

产业AI芯片英伟达

相关技术

推理网络 OpenCV

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary

数据科学技术

数据科学，又称资料科学，是一门利用数据学习知识的学科，其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术，包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。

来源：维基百科

Apache Spark技术

Apache Spark是一款快速、灵活且对开发者友好的工具，也是大型SQL、批处理、流处理和机器学习的领先平台。它是一个围绕速度、易用性和复杂分析构建的大数据处理框架，提供了一个全面、统一的框架用于管理各种不同性质（文本数据、图表数据等）数据集和数据源（批量数据或实时的流数据）的大数据处理的需求。

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

深度神经网络技术

深度神经网络（DNN）是深度学习的一种框架，它是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。

来源：机器之心 Techopedia

阿里巴巴机构

阿里巴巴网络技术有限公司（简称：阿里巴巴集团）是以曾担任英语教师的马云为首的18人于1999年在浙江杭州创立的公司。

https://www.alibabagroup.com/

百度智能云机构

百度是全球最大的中文搜索引擎，是一家互联网综合信息服务公司，更是全球领先的人工智能平台型公司。2000年1月1日创立于中关村，公司创始人李彦宏拥有“超链分析”技术专利，也使中国成为美国、俄罗斯、和韩国之外，全球仅有的4个拥有搜索引擎核心技术的国家之一。

http://www.baidu.com