公开课2:MindSpore中GraphEngine浅析

4 月 26 日,机器之心联合华为昇腾学院开设的线上公开课《轻松上手开源框架 MindSpore》第二课完成,GraphEngine 高级工程师王俊为大家带来了主题分享《MindSpore 中 GraphEngine 浅析》,第二课回顾视频如下:

第二课精选问答

在第二课的 QA 环节中,有一些问题被大家广泛提到,王俊讲师再次做了精选与编辑,供大家参考。

Q1:循环下沉是什么?

循环下沉是在on-device执行的基础上更进一步的一个技巧,意图进一步建校host侧和device侧之间的交互次数。一般情况下,我们习惯于每个step都返回一个结果,循环下沉是控制每隔多少个step返回一次结果,缺省的配置是一个epoch返回一次结果,这样每个epoch里,host侧和device侧只需要进行一次数据交互即可。

Q2:FusionOP是定义在device上么?

FusionOP对应的具体算子是有其算子实现的,存储在算子信息库中,融合出fusionOP的过程是在host侧的CPU上完成,运行此FusionOP是在device上。

Q3:profiling只能在昇腾上用吗?

只能在升腾上使用。 

Q4:profiling有op的开始时间吗?

profiling是记录下op开始和结束的时间,以此计算算子耗时。

Q5:数据dump是能dump出来什么数据呀

通过配置可以dump出任何存在在网络中的数据,每一个算子的输入输出,每一个parameter的值和梯度都可以被dump下来。

Q6: 910支持推理吗?支持多少op呢

910支持训练及推理,310只支持推理。目前我们的算子信息库已经相对完善,常用的op基本都已支持,如果有自定义算子的需求,我们提供了TBE工具来支持用户自定义算子的开发。

Q7:算子在不同的加速器上的调度策略什么?

在图准备阶段会根据代价函数进行算子引擎分配,在流分配阶段也会充分考虑不同算子之间的并行计算可能,具体指定每个算子的执行引擎。

Q8: GE是mindspore中和硬件交互的

是的,GE专门负责和Ascend芯片交互。

Q9:310不能做训练么?

310只能做推理,MindSpore训练好后的模型,将其固化为pb格式后,可以部署到310芯片上进行推理。

Q10:如何自定义升腾芯片支持的op呢?

提供了Tensor Boost Engine这个工具来支持自定义op。Ascend芯片的算子需要用一种cce格式的代码编写,需要显式指定内存搬运操作,极为复杂,使用tbe工具,只需调用其python接口完成算子逻辑定义,即可生成可运行在Ascend上的自定义算子。

大家后续如有更多问题,欢迎关注 MindSpore 的gitee和github,随时提 issue,官方人员将及时为大家解答:

  • Gitee:https://gitee.com/mindspore
  • GitHub:https://github.com/mindspore-ai

第二课PPT如下:

轻松上手开源框架MindSpore
轻松上手开源框架MindSpore

3 周时间,6 次课程,全面掌握 MindSpore的使用方法。

入门MindSpore华为GraphEngine
相关数据
华为机构

华为创立于1987年,是全球领先的ICT(信息与通信)基础设施和智能终端提供商,我们致力于把数字世界带入每个人、每个家庭、每个组织,构建万物互联的智能世界:让无处不在的联接,成为人人平等的权利;为世界提供最强算力,让云无处不在,让智能无所不及;所有的行业和组织,因强大的数字平台而变得敏捷、高效、生机勃勃;通过AI重新定义体验,让消费者在家居、办公、出行等全场景获得极致的个性化体验。目前华为约有19.4万员工,业务遍及170多个国家和地区,服务30多亿人口。

https://www.huawei.com/cn/
调度技术

调度在计算机中是分配工作所需资源的方法。资源可以指虚拟的计算资源,如线程、进程或数据流;也可以指硬件资源,如处理器、网络连接或扩展卡。 进行调度工作的程序叫做调度器。调度器通常的实现使得所有计算资源都处于忙碌状态,允许多位用户有效地同时共享系统资源,或达到指定的服务质量。 see planning for more details

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

机器之心机构

机器之心,成立于2014年,是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系,为各类人工智能从业者提供综合信息服务和产业服务。

https://www.jiqizhixin.com/
推荐文章
暂无评论
暂无评论~