李泽南 刘晓坤报道

亚马逊推出AI芯片、定制CPU:入局芯片军备竞赛

与谷歌、百度、阿里这样的科技巨头一样,亚马逊希望掌握自身业务的全部。在昨天拉斯维加斯举行的 AWS re:Invent 大会上,这家公司发布了一款名为 Inferentia 的机器学习芯片。


「Inferentia 将会是一款超高吞吐量、低延迟、性能强大,且功耗比极佳的处理器,」AWS 首席执行官 Andy Jassy 在发布中介绍道。

对于亚马逊来说,这或许是必然要走的一步。来自 Constellation Research 的分析师 Holger Mueller 对此表示,亚马逊在自研芯片上远远落后于其他巨头,但这一步颇具意义,在未来这家公司或许会尝试不同的机器学习方法。

Inferentia 支持 INT8、FP16 等流行框架以及混合精度。此外,它也支持 TensorFlow、Caffe2 和 ONNX 等机器学习框架。

当然,作为亚马逊的产品,它也支持处理 AWS 产品中的数据,例如 EC2、SageMaker,以及今天公布的 Elastic 推理引擎。这款产品专为推理而设计,这方面与专为训练机器学习模型设计的谷歌 TPU 不同。Jassy 表示,目前为机器学习计算设计加速器的芯片公司——如其中最大的英伟达——已经投入巨大精力对于模型训练进行优化,这就是 AWS 决定专注于设计更好的推理芯片的原因。

亚马逊称,若在已训练模型的基础上进行推理任务,Inferentia 芯片可以担负 90% 的算力。通过使用 Amazon Elastic Inference,开发者们可以通过将 GPU 驱动的推理加速功能附加到 Amazon EC2 和 Amazon SageMaker 实例上,将推理成本降低多至 75%左右。

亚马逊 Inferentia 机器学习芯片的原型,这款芯片由 Annapurna Labs 设计。图片来自亚马逊副总裁、杰出工程师 James Hamilton。

亚马逊此前的定制 Arm 处理器 Graviton 一样,Inferentia 是这家公司在 2015 年收购的以色列创业公司 Annapurna 的帮助下设计的。在 Inferentia 之前不久,亚马逊还发布了 Graviton 芯片——这是一款基于 ARM Cortex-A72 架构的定制化 CPU 处理器,其最高时钟速度为 2.3GHz。

开启科技巨头自研机器学习芯片风潮的公司是谷歌。2016 年,谷歌就正式发布了 TPU(其时谷歌已在内部使用 TPU 超过一年时间了),时至今天,TPU 已经发展到了第三代。这款产品的算力也已经成为谷歌云服务的一部分,可为所有开发者提供算力支持。亚马逊的最大竞争对手微软 Azure 尚未推出自己的处理器。当然,所有三家公司的机器学习云服务算力主要基于英伟达 GPU。此外,AWS 和 Azure 还提供用于机器学习的 FPGA 服务。

虽然亚马逊今天对外发布了此芯片,但 AWS CEO Andy Jassy 表示 Inferentia 在明年之前不会上线。在发布会上,亚马逊也没有公布有关这款芯片的更多技术细节。该公司表示,每块 Inferentia 芯片可提供「提供数百 TOPS」的推理吞吐量...... 为获得更高性能,可以将多个 AWS Inferentia 芯片并联实现数千 TOPS 的吞吐量。

目前的 AI 专用芯片在性能指标上最为强大的是华为今年 10 月推出的昇腾 910,据称其半精度(FP16)算力可达 256TFLOPS,最大功耗为 350W。

在云服务方面,亚马逊正在成为行业领导者,而其推出的 AI 芯片与定制化 CPU,势必更将巩固这家公司的领先地位。

参考链接:https://techcrunch.com/2018/11/28/aws-announces-new-inferentia-machine-learning-chip/

产业CPUAI芯片亚马逊AWS
1
相关数据
AWS机构

亚马逊网络服务系统(英语:Amazon Web Services,缩写为AWS),由亚马逊公司所创建的云计算平台,提供许多远程Web服务。Amazon EC2与Amazon S3都架构在这个平台上。在2002年7月首次公开运作,提供其他网站及客户端(client-side)的服务。截至2007年7月,亚马逊公司宣称已经有330,000名开发者,曾经登录过这项服务。

相关技术
亚马逊机构

亚马逊(英语:Amazon.com Inc.,NASDAQ:AMZN)是一家总部位于美国西雅图的跨国电子商务企业,业务起始于线上书店,不久之后商品走向多元化。目前是全球最大的互联网线上零售商之一,也是美国《财富》杂志2016年评选的全球最大500家公司的排行榜中的第44名。

https://www.amazon.com/
相关技术
机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

TensorFlow技术

TensorFlow是一个开源软件库,用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品,如语音识别、Gmail、Google 相册和搜索,其中许多产品曾使用过其前任软件DistBelief。

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数,这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在 维空间内,有 个分量的一种量,其中每个分量都是坐标的函数,而在坐标变换时,这些分量也依照某些规则作线性变换。称为该张量的秩或阶(与矩阵的秩和阶均无关系)。 在数学里,张量是一种几何实体,或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达,记作标量的数组,但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中,表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了,它们都是二阶张量,对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

推理引擎技术

推理机是实施问题求解的核心执行机构,常见于专家系统。它是对知识进行解释的程序,根据知识的语义,对按一定策略找到的知识进行解释执行,并把结果记录到动态库的适当空间中去。

推荐文章
暂无评论
暂无评论~