AIIA 公布首轮AI芯片基准评测结果

3月6日,由国际电信联盟、中国信息通信研究院联合主办,人工智能产业发展联盟(AIIA)和中兴通讯承办的国际论坛AI in 5G——引领新时代论坛在深圳召开。来自全球电信运营商、标准组织、互联网企业、设备厂商、高校等业界各方的专家和嘉宾共聚一堂,探讨AI赋能5G网络智能化以及行业应用创新。会上,AIIA正式发布“AIIA DNN benchmark V0.5”首轮评估结果,评估基于AIIA权威测试平台,在四大典型应用场景下,客观反映具有深度学习处理能力的处理器或加速器的性能水平。参与首轮评估的产品分别是:海思麒麟980和瑞芯微RK3399开发板。

国内权威AI芯片基准测试

AIIA副秘书长王爱华在论坛上介绍了评估的背景情况。为了切实反映当前AI芯片的能力,聚合更多AI芯片企业参与,推动市场的健康发展,在国家发改委、科技部、工信部、网信办的指导下,2018年10月AIIA联合国内众多具有代表性的应用企业、主流芯片企业及芯片工具企业,正式发布《人工智能端侧芯片基准测试评估方案Version 0.5》,并于2018年12月启动首轮评估工作。

AIIA副秘书长王爱华介绍评估背景

首轮评估结果发布 

AIIA DNN benchmark V0.5测试评估主要面向端侧,旨在客观反映具有深度神经网络加速能力的处理器在完成推断任务时的性能。AIIA总体组组长孙明俊向业界正式发布首轮评估结果。

AIIA总体组组长孙明俊发布首轮评估结果

孙明俊表示,首轮评估包含四大典型场景(见图3)和两大类评测指标,指标包含速度(fps)和算法性能,如top1 、top5、mAP、mIoU、PSNR等。值得一提的是,这是深度学习处理器领域首次区分整型和浮点对比的Benchmark

评测指标及应用场景

AIIA DNN benchmark V0.5首轮测试对麒麟980和瑞芯微RK3399开发板两款产品进行了评估。

海思麒麟980——适用于手机终端Mate20系列,采用7nm工艺。具体评测结果如图4和图5所示。

场景1下海思麒麟980评测结果

场景2/3/4下海思麒麟980评测结果

瑞芯微RK3399开发板——该芯片在安防等领域有广泛应用,采用28nm工艺。结果显示,在浮点模型不需要定点化重新训练的情况下,int8计算以精度损失最大为1%的代价,达到了相对于浮点计算两倍的性能(见图6)。

瑞芯微RK3399开发板评测结果

评估工具开源

AIIA DNN benchmark V0.5测试评估工具采用开源方式,支持安卓系统,易于推广到所有 POSIX 兼容系统中,且用户可以根据项目文档,自行添加一个框架或者一个新模型。面向未来的市场需求,AIIA DNN benchmark项目将持续更新。

孙明俊介绍,v0.5版本的Benchmark工具可以对基于CPU/GPU/DSP/NPU的终端推断任务进行评测,支持评测的机器学习框架包括TensorFlow/Caffe。目前已经完成的移动端适配环境包括HiAI /SNPE/Tengine /TensorFlow Lite/ MACE/ NCNN 等。

项目代码已经开源到Github,链接为: https://github.com/AIIABenchmark/AIIABenchmark

v1.0 版评估方案即将发布

会上,西安交通大学任鹏举教授对AIIA DNN benchmark V0.5首轮评测的结果进行了解读,并向业界公布了评估方案的后续推进计划,AIIA DNN benchmark项目v1.0 正式版预计将于今年上半年正式发布。

西安交通大学任鹏举教授解读v0.5版本评估结果

v0.5版本评测结果分析

v0.5版本评测结果分析

最后,ARM中国AI技术市场经理分享了题为《ARM中国周易开放AIoT应用平台》的演讲。他表示,ARM人工智能周易平台已顺利对接AIIA DNN Benchmark项目,旨在助力芯片公司为ARM芯片取得客观公正的AI性能评估报告,同时也方便应用算法公司的芯片选型。

ARM中国AI技术市场经理发表演讲

未来,AIIA将顺应行业发展需要,持续迭代评估规范。AIIA DNN benchmark项目v1.0 正式版的评测对象将进一步丰富,覆盖语音、自动驾驶、安防等应用场景下的AI芯片。可以预见,基于开放、共赢的产业生态,AIIA DNN benchmark目将吸引更多企业与开发者加入。

有关大会及AIIA联盟更多信息,请访问:http://www.aiiaorg.cn/index.php?m=content&c=index&a=show&catid=14&id=67

理论芯片AIIA
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

自动驾驶技术技术

从 20 世纪 80 年代首次成功演示以来(Dickmanns & Mysliwetz (1992); Dickmanns & Graefe (1988); Thorpe et al. (1988)),自动驾驶汽车领域已经取得了巨大进展。尽管有了这些进展,但在任意复杂环境中实现完全自动驾驶导航仍被认为还需要数十年的发展。原因有两个:首先,在复杂的动态环境中运行的自动驾驶系统需要人工智能归纳不可预测的情境,从而进行实时推论。第二,信息性决策需要准确的感知,目前大部分已有的计算机视觉系统有一定的错误率,这是自动驾驶导航所无法接受的。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

TensorFlow技术

TensorFlow是一个开源软件库,用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品,如语音识别、Gmail、Google 相册和搜索,其中许多产品曾使用过其前任软件DistBelief。

深度神经网络技术

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

5G技术

第五代移动通信系统(5th generation mobile networks),简称5G,是4G系统后的延伸。美国时间2018年6月13日,圣地牙哥3GPP会议订下第一个国际5G标准。由于物理波段的限制,5G 的网络也将会与其他通信技术并用,包含长距离的其他传统电信波段。

推荐文章
暂无评论
暂无评论~