李飞作者

为何巨头纷纷投入服务器AI芯片市场?

随着人工智能渐渐落地,人工智能对于算力的需求逐渐增强。本轮人工智能热潮背后的基础是大数据神经网络,需要海量的数据去训练复杂的神经网络,而训练完成后的神经网络也较为复杂,执行神经网络的推理操作相对于其他基于逻辑规则等智能方案需要更大的计算力。因此,算力成为了人工智能背后的基础资源,而算力的提升则离不开芯片的支持。近日,高通寒武纪、依图等来自不同背景的明星公司都发布了其用于服务器端的人工智能芯片方案,再加上谷歌、亚马逊、Intel、Nvidia等早已在服务器人工智能芯片领域押注的大公司,我们看到了服务器人工智能芯片的热潮。

服务器AI芯片市场已经有明确需求

人工智能计算一般可以分为两类,即训练推理。训练是指使用收集到的大量数据去优化神经网络的各项参数,从而能实现最优的精确度。推理则是在训练好的神经网络上将输入数据在各层网络之间做正向传递去求得输出。训练任务和推理任务执行的计算对于计算精度和内存访问的模式都有所不同,因此芯片上往往需要不同的优化。

人工智能芯片根据应用场合也可以分为三个种类:服务器、边缘计算、终端。服务器人工智能芯片主要部署在数据中心的服务器中,执行训练和/或推理任务。服务器人工智能芯片对于芯片的首要需求就是单芯片算力(目前的主流算力在100TOPS级别),其次才会去考虑功耗和成本。边缘计算是指部署在更接近数据源头的服务器上执行的计算,以推理计算为主,典型应用场景包括在自动驾驶汽车上执行自动驾驶算法、在智能销售领域无人店中执行监控和结账操作等等。在边缘计算中,芯片的功耗和成本相对于云端有更严格的限制,而算力则还是多多益善(10TOPS以上)。终端计算则是指直接部署在手机、智能音箱等终端设备上人工智能计算,由于使用电池供电,其对于芯片的首要需求是能效比(1TOPS/W数量级),需要使用尽可能低的能量消耗去完成人工智能计算以保证电池寿命。虽然终端计算对于算力的要求较低(0.1-1TOPS数量级),但是其功耗约束很强,可用的功耗在1W以下,甚至可以低至几十毫瓦级别,同时终端设备对于成本也很敏感。

目前上述三个人工智能应用场景中,边缘计算尚处于概念验证阶段,预计未来几年随着5G和无人驾驶、机器人、智能零售等概念的兴起会出现一批相关芯片公司,但是在今天市场规模还较小。终端人工智能计算目前已经得到初步验证,手机等智能设备都在争相加入人工智能专用处理模块,但是由于其市场对于成本的敏感性,我们预期未来人工智能在终端设备上的形态会以SoC上的IP模块为主,这也就意味着人工智能要么是由高通、海思等智能设备SoC厂商自研集成到自家的SoC中,要么是由第三方以IP的形式授权给SoC厂商,总体来说该市场的利润率并不会太高,还是要以量取胜。

相较而言,服务器端人工智能芯片市场目前已经得到了较好的验证,业务模式和市场规模都已经获得了认可,利润率也较高,因此成为了主流芯片公司的必争之地;而边缘和终端市场在今天来看还主要是针对未来的前瞻性布局。根据Barclays Research的研究报告,服务器端人工智能市场会在未来三年内快速增长,并预计于2021年达到100亿美元的规模;而终端和边缘计算市场则将在三年后才开始真正落地。所以,我们看到了巨头纷纷在今年加码服务器端人工智能芯片。

进入服务器AI芯片市场的几种打法

目前来看,做云端AI芯片的主要有两种厂商,一种是芯片公司,另一种是互联网公司,包括AI公司(如依图)这样的“新物种”。

对于芯片公司来说,服务器AI市场的客户往往比较分散,而且每个厂商都有自己独特的诉求,因此需要一家一家谈。由于不同的公司有不同的人工智能技术栈,芯片公司需要能兼容不同公司的需求,有时候甚至需要和客户公司合作开发来确保能满足需求。同时,芯片公司需要在各大公司的需求中寻找到最大公约数,来确保自己的芯片能进入尽可能多的客户中。芯片公司可以直接进入终端客户的服务器中,或者与提供服务器的系统集成商合作,为客户设计满足其需求的服务器来完成销售。例如,中国AI芯片独角兽寒武纪据悉已经获得了滴滴、海康威视等商业客户的直接订单,同时也与浪潮、联想和曙光等服务器系统集成商积极合作来完成服务器的订单。寒武纪于一周前披露的最新思元270芯片使用TSMC 16nm制造,额定功耗75W,其整数计算能力分别为256TOPS(int4)、128TOPS(int8)和64TOPS(int4),这样的设计预计主要针对服务器推理市场,其算力和功耗与Nvidia T4基本相当,基本可以作为Nvidia T4的国产替代,同时寒武纪有位于中国市场离客户近以及性价比的优势,因此想必还是能够拿下大量订单。另外,寒武纪的思元270还集成了视频图像编解码模块,估计其找到的客户“最大公约数”仍然是计算机视觉相关领域,如视频内容分析、安防等。

除了芯片公司向上进入服务器AI市场外,另一类公司则是互联网以及AI公司亲自入场做芯片,例如谷歌、亚马逊以及刚发布自研芯片的中国AI独角兽依图。传统来说,互联网和AI公司主要是服务器和芯片的终端客户,他们的需求是寻找市面上最合适的硬件来运行自己的应用。然而,当市面上的硬件都无法满足这些终端客户的需求时,他们也会亲自做满足自己需求的芯片。

互联网和AI公司亲自做芯片背后的逻辑主要在于建立竞争壁垒。随着AI的落地以及AI对于算力的强烈需求,硬件已经成为AI背后重要的竞争要素。目前,随着市场的充分竞争,各大AI巨头在算法和模型等方面都没有和彼此拉开很大的差距,于是硬件就成为了差异化竞争的重要因素。当模型和算法差距不大时,是否能使用较低的成本部署AI系统并提供良好的用户体验就成了能否拿到用户订单的重要因素了。另外,互联网和AI公司是最清楚自己需求和算法的,因此通过软硬件协同优化可望能实现最优化的系统设计。

上周依图公布的求索就是AI公司入场AI芯片的最新动态。求索SoC完全结合依图的算法做优化,只支持int8操作,主要针对视觉应用,例如人脸识别、车辆检测、视频结构化分析等任务。配合依图的算法,使用四块求索芯片的依图原子服务器算力和使用八块Nvidia P4的服务器相当,而体积仅为P4服务器的一半,功耗则低至20%,从而能大大减少部署的难度。更关键的是,目前一块Nvidia P4的市价为2000美元左右,而求索芯片板卡的成本我们预计可以做到100美元以下,因此可以帮助依图进入更多的客户。相比使用Nvidia GPU的其他竞争公司,依图的算法配合自研的芯片确实是一个很强的竞争优势。

未来服务器AI芯片竞争格局预估

随着服务器端AI市场的真正落地,越来越多的厂商开始真正投入该市场,Nvidia的垄断难度也越来越大。如前所述,新进入服务器AI芯片战场的厂商要么拥有芯片背景,或者是互联网/AI公司亲自做芯片。服务器AI市场的特殊性在于不同垂直应用对于芯片的需求有较大不同,而使用目前的主流芯片架构做一款能兼容大多数应用的芯片往往性能不够好,因此芯片厂商还是需要认准一些重要的垂直应用,并且在垂直应用中打下站稳脚跟之后再考虑去横向扩展。对于互联网/AI公司造芯来说,由于他们对于垂直应用的前景非常清楚,因此主要就是看自研芯片对于竞争壁垒的构建有多少帮助,是否值得投入资金真正做芯片。在设计服务行业越来越成熟的今天,造芯的成本会逐渐降低,因此我们预期看到越来越多的互联网和AI公司加入自研芯片的行列。因此,服务器AI芯片的竞争格局我们预期在未来几年会看到Nvidia凭着CUDA生态的优势仍然占据通用芯片的主流地位,但是其市场份额将会被其他芯片公司和客户公司慢慢蚕食,同时在云端数据中心FPGA也会占据一部分市场。

服务器AI芯片竞争的变数在于下一代技术。目前冯诺伊曼架构的加速器的架构潜力已经被挖掘得很充分,之后难以再期待数量级上的提升,因此能带来重大变革的当属下一代技术。下一代技术还拥有不少不确定性,但是我们也看到了不少新技术拥有巨大的潜力,例如使用光技术做计算的LightIntelligence,可以实现超低延迟超低功耗计算。

半导体行业观察
半导体行业观察

最有深度的半导体新媒体,实时、专业、原创、深度,30万半导体精英关注!专注观察全球半导体最新资讯、技术前沿、发展趋势。

产业AI芯片
12
相关数据
海康威视机构

海康威视是以视频为核心的物联网解决方案提供商,为全球提供安防、可视化管理和大数据服务。海康威视全球员工超25000人(截止2017年6月30日),其中研发人员超10000人,研发投入占企业销售额的7-8%,绝对数额占据业内前茅。海康威视是博士后科研工作站单位,在国内设有五大研发中心,在海外建立蒙特利尔研发中心和硅谷研究所,海康威视拥有视音频编解码、视频图像处理、视音频数据存储等核心技术,及云计算、大数据、深度学习等前瞻技术,针对公安、交通、司法、文教卫、金融、能源和智能楼宇等众多行业提供专业的细分产品、IVM智能可视化管理解决方案和大数据服务。在视频监控行业之外,海康威视基于视频技术,将业务延伸到智能家居、工业自动化和汽车电子等行业,为持续发展打开新的空间。海康威视在中国大陆35个城市设立分公司及售后服务站,在境外,设立香港、荷兰、南非、印度、迪拜、美国、加拿大、巴西、俄罗斯、新加坡、意大利、澳大利亚、法国、西班牙、波兰、英国、韩国、哥伦比亚、哈萨克斯坦和土耳其等33个分支机构。海康威视产品和解决方案应用在150多个国家和地区,在G20杭州峰会、北京奥运会、上海世博会、美国费城平安社区、韩国首尔平安城市、巴西世界杯场馆、意大利米兰国际机场等重大安保项目中发挥了极其重要的作用。海康威视是全球视频监控数字化、网络化、高清智能化的见证者、践行者和重要推动者。连续六年(2011-2016)蝉联iHS全球视频监控市场占有率第1位,硬盘录像机、网络硬盘录像机、监控摄像机第1位 ;连年入选“国家重点软件企业” 、“中国软件收入前百家企业” 、A&S《安全自动化》“中国安防十大民族品牌”、CPS 《中国公共安全》“中国安防百强”(位列榜首);2016-2017年, A&S《安全自动化》公布的“全球安防50强”榜单中,蝉联全球第1位。2010年5月,海康威视在深圳证券交易所中小企业板上市,股票代码:002415,长期位居中小板市值前3位。基于创新的管理模式,良好的经营业绩,公司先后荣获“2016CCTV中国十佳上市公司” 、“中国中小板上市公司价值十强” 、“2016年A股上市公司未来价值排行以及A股最佳上市公司”榜首 、“第六届中国上市公司口碑榜最佳公司治理实践奖” 、“中国中小板上市公司投资者关系最佳董事会” “上市公司金牛投资价值奖”和“最佳投资者关系管理奖” 等重要荣誉。海康威视秉承“专业、厚实、诚信”的经营理念,坚持将“成就客户、价值为本、诚信务实、追求卓越”核心价值观内化为行动准则,不断发展视频技术,服务人类。

www.hikvision.com
亚马逊机构

亚马逊(英语:Amazon.com Inc.,NASDAQ:AMZN)是一家总部位于美国西雅图的跨国电子商务企业,业务起始于线上书店,不久之后商品走向多元化。目前是全球最大的互联网线上零售商之一,也是美国《财富》杂志2016年评选的全球最大500家公司的排行榜中的第44名。

https://www.amazon.com/
相关技术
高通机构

高通公司(英语:Qualcomm,NASDAQ:QCOM)是一个位于美国加州圣地亚哥的无线电通信技术研发公司,由加州大学圣地亚哥分校教授厄文·马克·雅克布和安德鲁·维特比创建,于1985年成立。两人此前曾共同创建Linkabit。 高通公司是全球3G、4G与5G技术研发的领先企业,目前已经向全球多家制造商提供技术使用授权,涉及了世界上所有电信设备和消费电子设备的品牌。根据iSuppli的统计数据,高通在2007年度一季度首次一举成为全球最大的无线半导体供应商,并在此后继续保持这一领导地位。其骁龙移动智能处理器是业界领先的全合一、全系列移动处理器,具有高性能、低功耗、逼真的多媒体和全面的连接性。目前公司的产品和业务正在变革医疗、汽车、物联网、智能家居、智慧城市等多个领域。

寒武纪机构

寒武纪科技成立于2016年3月,是全球智能芯片领域的先行者,宗旨是打造各类智能云服务器、智能终端以及智能机器人的核心处理器芯片。公司创始人、首席执行官陈天石教授,在处理器架构和人工智能领域深耕十余年,是国内外学术界享有盛誉的杰出青年科学家,曾获国家自然科学基金委员会“优青”、CCF-Intel青年学者奖、中国计算机学会优秀博士论文奖等荣誉。团队骨干成员均毕业于国内顶尖高校,具有丰富的芯片设计开发经验和人工智能研究经验,从事相关领域研发的平均时间达七年以上。寒武纪科技是全球第一个成功流片并拥有成熟产品的智能芯片公司,拥有终端和服务器两条产品线。2016年推出的寒武纪1A处理器(Cambricon-1A)是世界首款商用深度学习专用处理器,面向智能手机、安防监控、可穿戴设备、无人机和智能驾驶等各类终端设备,在运行主流智能算法时性能功耗比全面超越CPU和GPU,与特斯拉增强型自动辅助驾驶、IBM Watson等国内外新兴信息技术的杰出代表同时入选第三届世界互联网大会评选的十五项“世界互联网领先科技成果”。目前公司与智能产业的各大上下游企业建立了良好的合作关系。在人工智能大爆发的前夜,寒武纪科技的光荣使命是引领人类社会从信息时代迈向智能时代,做支撑智能时代的伟大芯片公司。

http://www.cambricon.com/
自动驾驶技术技术

从 20 世纪 80 年代首次成功演示以来(Dickmanns & Mysliwetz (1992); Dickmanns & Graefe (1988); Thorpe et al. (1988)),自动驾驶汽车领域已经取得了巨大进展。尽管有了这些进展,但在任意复杂环境中实现完全自动驾驶导航仍被认为还需要数十年的发展。原因有两个:首先,在复杂的动态环境中运行的自动驾驶系统需要人工智能归纳不可预测的情境,从而进行实时推论。第二,信息性决策需要准确的感知,目前大部分已有的计算机视觉系统有一定的错误率,这是自动驾驶导航所无法接受的。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

人脸识别技术

广义的人脸识别实际包括构建人脸识别系统的一系列相关技术,包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。 人脸识别是一项热门的计算机技术研究领域,它属于生物特征识别技术,是对生物体(一般特指人)本身的生物特征来区分生物体个体。

自动驾驶汽车技术

自动驾驶汽车,又称为无人驾驶汽车、电脑驾驶汽车或轮式移动机器人,是自动化载具的一种,具有传统汽车的运输能力。作为自动化载具,自动驾驶汽车不需要人为操作即能感测其环境及导航。

边缘计算技术

边缘运算(英语:Edge computing),又译为边缘计算,是一种分散式运算的架构,将应用程序、数据资料与服务的运算,由网络中心节点,移往网络逻辑上的边缘节点来处理。边缘运算将原本完全由中心节点处理大型服务加以分解,切割成更小与更容易管理的部分,分散到边缘节点去处理。边缘节点更接近于用户终端装置,可以加快资料的处理与传送速度,减少延迟。在这种架构下,资料的分析与知识的产生,更接近于数据资料的来源,因此更适合处理大数据。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

大数据技术技术

大数据,又称为巨量资料,指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。

联想机构

联想集团是1984年中国科学院计算技术研究所投资20万元人民币,由11名科技人员创办,是中国的一家在信息产业内多元化发展的大型企业集团,和富有创新性的国际化的科技公司。 从1996年开始,联想电脑销量一直位居中国国内市场首位;2005年,联想集团收购IBM PC(Personal computer,个人电脑)事业部;2013年,联想电脑销售量升居世界第一,成为全球最大的PC生产厂商。2014年10月,联想集团宣布了该公司已经完成对摩托罗拉移动的收购。 作为全球电脑市场的领导企业,联想从事开发、制造并销售可靠的、安全易用的技术产品及优质专业的服务,帮助全球客户和合作伙伴取得成功。联想公司主要生产台式电脑、服务器、笔记本电脑、智能电视、打印机、掌上电脑、主板、手机、一体机电脑等商品。 自2014年4月1日起, 联想集团成立了四个新的、相对独立的业务集团,分别是PC业务集团、移动业务集团、企业级业务集团、云服务业务集团。2016年8月,全国工商联发布“2016中国民营企业500强”榜单,联想名列第四。 2018年12月,世界品牌实验室编制的《2018世界品牌500强》揭晓,排名第102。

5G技术

第五代移动通信系统(5th generation mobile networks),简称5G,是4G系统后的延伸。美国时间2018年6月13日,圣地牙哥3GPP会议订下第一个国际5G标准。由于物理波段的限制,5G 的网络也将会与其他通信技术并用,包含长距离的其他传统电信波段。

推荐文章
很喜欢你们的文章,可是能不能不要给文章中的关键字加下划线,然后不小心碰到就会出现相应的名词解释,遮挡大部分手机屏幕,严重影响了阅读体验。这个功能真没必要。
机器之心・运营
感谢您的建议,我们会反馈产品团队尽快作出调整,在此期间,您可以使用微信小程序“机器之心”查看文章,减少知识卡片的遮盖,提升阅读体验。