机器之心编辑部发布

AIIA DNN benchmark「从芯」测试:人工智能端侧芯片基准测试评估方案 V0.5 版本发布

AI 进入爆发期后,芯片对技术进步的影响愈发凸显。深度学习对计算芯片提出了新需求,催生了 AI 加速芯片的问世

AI 进入爆发期后,芯片对技术进步的影响愈发凸显。深度学习对计算芯片提出了新需求,催生了 AI 加速芯片的问世。当 AI 芯片的功能日益复杂化、多样化,一方面,芯片厂商纷纷给出不同的衡量标准,声称其产品在计算性能、单位能耗算力等方面处于行业领先水平;另一方面,需求方却关心如何能从厂商给出的信息中判断出芯片是否能实际满足其真实场景的计算需求。针对这一现状,一个与真实场景紧密相连的、同时跨产品可比的测试评估方案的出现,迫在眉睫。

如何构建与真实场景紧密相连的、面向不同产品形态、设备级别的 AI 加速器测试评估方案?2018 AIIA 人工智能开发者大会揭晓了答案。会上,《AIIA DNN benchmark——人工智能端侧芯片基准测试评估方案 V0.5 版本》由中国信息通信研究院云大所人工智能部副主任、中国人工智能产业发展联盟(AIIA)总体组组长孙明俊代表中国人工智能产业发展联盟发布。

中国信息通信研究院云大所人工智能部副主任、中国人工智能产业发展联盟总体组组长 孙明俊

AIIA DNN benchmark 的工作目标为客观反映当前以提升深度学习处理能力的 AI 加速器现状,所有指标均旨在提供客观比对维度。AIIA 希望,该方案能够为芯片企业提供第三方评测结果,帮助产品市场宣传;同时为应用企业提供选型参考,帮助产品找到合适其应用场景的芯片。V0.5 版本首先给出了端侧评估方案。

根据孙明俊介绍,AI 基准测试方案的制定面临诸多挑战。即便抛开优化程度、硬件架构等若干问题不谈,延迟、带宽、能耗都要纳入考虑范围。同时,各种神经网络模型都有不同参数,不同设备在不同参数下有不同的输出曲线。如何让指标在不同级别的设备中横向可比?而云端和终端的应用是否需要不同的基准测试?如何为不同测试项目分配权重,以获得一个相对公正客观、有代表性的评分?这些都是应用领域的差异性和实现选择的多样性导致的测评难题。

针对以上特点,AIIA 联合 Arm 中国、阿里巴巴集团、百度、寒武纪科技、ChipIntelli、地平线、华为、华大半导体、Imagination、Synopsys,腾讯、云之声等 12 家企业,推出了 AIIA DNN benchmark——人工智能端侧芯片基准测试评估方案。

AIIA DNN benchmark 将以「版本迭代、不断丰富、不断完善」的工作方式,为更多评测应用场景、评测指标等提供评估方案,最新公布的 v0.5 版本提供了「通用芯片 AI 能力评估」和「定制化芯片的 AI 能力评估」2 种方案评测方案。方案覆盖了时间、性能评价指标以及功耗 3 类测评指标和图片分类、目标检测、语音识别、超分辨率 4 大应用场景。其中通用芯片的 AI 能力评估限定在指定场景、数据集、网络模型、框架下,而定制化芯片的 AI 能力评估将更加关注 AI 芯片对于特殊场景的优化能力,如安防、自动驾驶、智能音箱等。针对每一个具体变量,方案都提供了 check list 选项,供被测方选择。

目前 AIIA DNN benchmark 芯片基准测试评估方案是初级版本,预计会在 10 月底到 11 月初面向企业征集首轮评估对象及方案,首轮测试对象主要为端侧设备。AIIA DNN benchmark 将会从场景、指标、部署位置等角度不断做版本更新,诚邀企业参与。

可以预见,AIIA DNN benchmark 的发布,能够促进芯片供给侧与需求侧的交流,让需求方的意见能够更快传达到芯片企业,让企业进行有针对性的改良,加快行业迭代速度,推动 AI 产业的快速进步。

产业AIIAAI芯片
相关数据
英特尔机构

英特尔(NASDAQ: INTC)是全球半导体行业的引领者,以计算和通信技术奠定全球创新基石,塑造以数据为中心的未来。我们通过精尖制造的专长,帮助保护、驱动和连接数十亿设备以及智能互联世界的基础设施 —— 从云、网络到边缘设备以及它们之间的一切,并帮助解决世界上最艰巨的问题和挑战。

http://www.intel.cn/
相关技术
寒武纪机构

寒武纪科技是全球智能芯片领域的先行者,宗旨是打造各类智能云服务器、智能终端以及智能机器人的核心处理器芯片。公司创始人、首席执行官陈天石教授,在处理器架构和人工智能领域深耕十余年,是国内外学术界享有盛誉的杰出青年科学家,曾获国家自然科学基金委员会“优青”、CCF-Intel青年学者奖、中国计算机学会优秀博士论文奖等荣誉。 团队骨干成员均毕业于国内顶尖高校,具有丰富的芯片设计开发经验和人工智能研究经验,从事相关领域研发的平均时间达七年以上。 寒武纪科技是全球第一个成功流片并拥有成熟产品的智能芯片公司,拥有终端和服务器两条产品线。2016年推出的寒武纪1A处理器(Cambricon-1A)是世界首款商用深度学习专用处理器,面向智能手机、安防监控、可穿戴设备、无人机和智能驾驶等各类终端设备,在运行主流智能算法时性能功耗比全面超越CPU和GPU,与特斯拉增强型自动辅助驾驶、IBM Watson等国内外新兴信息技术的杰出代表同时入选第三届世界互联网大会评选的十五项“世界互联网领先科技成果”。目前公司与智能产业的各大上下游企业建立了良好的合作关系。在人工智能大爆发的前夜,寒武纪科技的光荣使命是引领人类社会从信息时代迈向智能时代,做支撑智能时代的伟大芯片公司。

http://www.cambricon.com
地平线机构

地平线作为嵌入式人工智能全球领导者,致力于提供高性能、低功耗、低成本、完整开放的嵌入式人工智能解决方案。面向智能驾驶、智能城市和智能商业等应用场景,为多种终端设备装上人工智能“大脑”,让它们具有从感知、交互、理解到决策的智能,让人们的生活更安全、更便捷、更美好。

http://www.horizon.ai
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

自动驾驶技术技术

从 20 世纪 80 年代首次成功演示以来(Dickmanns & Mysliwetz (1992); Dickmanns & Graefe (1988); Thorpe et al. (1988)),自动驾驶汽车领域已经取得了巨大进展。尽管有了这些进展,但在任意复杂环境中实现完全自动驾驶导航仍被认为还需要数十年的发展。原因有两个:首先,在复杂的动态环境中运行的自动驾驶系统需要人工智能归纳不可预测的情境,从而进行实时推论。第二,信息性决策需要准确的感知,目前大部分已有的计算机视觉系统有一定的错误率,这是自动驾驶导航所无法接受的。

权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域,它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性,目前的语音识别系统只能在一定的限制条件下获得满意的性能,或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

推荐文章
暂无评论
暂无评论~