今年 3 月,旷视科技开源了在内部工程实践超过 6 年的深度学习框架天元(MegEngine),其「训练推理一体」、「动静合一」、「兼容并包」、「灵活高效」的强大性能,为 AI 领域带来了新的风向。
秉承开放、高效、合作、共赢的态度,一方面旷视希望将最佳实践反哺业界,另一方面也希望更多开发者共同参与MegEngine的使用、建设和改进,打造国内深度学习领域的繁荣生态。
7月11日,在旷视科技和机器之心联合举办的2020 WAIC开发者日「深度学习框架与技术生态」分论坛上,旷视天元MegEngine深度学习框架Beta版正式发布。此外还邀请了多位行业专家和技术生态合作伙伴,对目前国内深度学习框架技术发展的思想、脉络和现状进行了全面深入分析。
旷视研究院高级技术总监田忠博首先分享了「天元深度学习框架的创新与探索」。天元是旷视从2014年开始自主研发的深度学习框架,目前天元框架支撑着旷视所有的算法的训练和推理。今年3月,旷视在将天元深度学习框架正式开源的同时,也推出了Brain++商业化版本。
田忠博介绍说,自从开源以来,在众多优秀开发者、院校以及企业机构的积极参与下,整个天元生态仓库有了长足的进步,共收获了2400多个Github Star,达到1000多次的下载量。
现在,旷视天元Beta 版也已经正式发布。在本场论坛论坛上,旷视研究院AI系统高级技术总监许欣然对其进行了深入的技术与特性解读。
一是推理功能方面的全面优化,天元Beta版本在ARM上面使用了全新的优化的NCHW44的张量排布;二是实现从训练、量化、推理的一站式的完整流程。这样的体验能够帮助开发者把自己的精力更多的集中在算法的研发上、更多的集中在业务和场景中,而使得大家能够从繁琐的流程、繁琐的性能优化和模型复现中解放出来,真正的关注最能够为大家提供价值的部分。
作为旷视技术生态合作伙伴的代表,小米AI实验室高级软件工程师卢旭辉分享的主题是「MACE—面向AIoT的深度学习推理框架」。小米是一个以AIoT设备为主要产品的公司,端侧的、设备端的深度学习推理框架是至关重要的,这也是开发MACE的初衷。MACE是一个面向AIoT的深度学习推理框架,拥有手机端AI引擎和微控制器MACE Micro AI引擎。支持多种框架在设备端的异构计算加速,也支持高通、MTK等主流厂商的芯片。近期,小米也与旷视合作对天元训练引擎进行了支持,通过天元训练出的模型可通过MACE部署到设备端。
另一位旷视技术生态合作伙伴代表、Open AI Lab计算框架Tengine产品负责人程实分享了「嵌入式深度学习框架的现状发展与TEngine实践」。
TEngine是Open AI Lab的核心产品,是一款嵌入式边缘侧的AI计算框架,与众多国内芯片公司有着深度的合作关系,致力于打造AIoT底层生态圈,为AIoT应用开发者提供加速部署的工作流,帮助开发者加速面向场景的AI算法在嵌入式终端/边缘端上的快速迁移。他提到,一个嵌入式AI框架首先要解决的是AI推理问题,二是预训练模型能否部署到目标平台上,这是判断一个框架实用性的两点重要因素。
除了上述深度学习框架层面的业界实践之外,中科院计算所高性能计算机研究中心主任、博士生导师谭光明也介绍了旷视天元在学界的应用场景。
谭光明提到,目前AI已经成为高性能计算领域里面非常重要的场景之一,同时深度学习技术对此类算法的优化也成为了重点关注的话题。从2013年开始,利用GPU来加速深度学习已经成为非常明显的趋势,单节点GPU训练也越来越多地向多节点GPU训练转变,国内外的深度学习框架都在朝此方向转变。基于旷视的天元框架,谭光明团队已经提出了可变Batch—size、Data layout自动调优、All—Reduce三个算法,提高了整体工作的扩展性和训练效率。
最后,来自旷视内部的两位资深工程师为大家分享了「基于天元开源深度学习框架的旷视算法SDK工程优化实践」,分别是旷视服务器算法SDK高级架构师高鹏远和旷视嵌入式算法SDK研发负责人武庚晨。
2020世界人工智能大会云端峰会(WAIC2020)于7月9日-11日在上海举行。作为此次大会期间唯一面向 AI 技术人员和开发者的专业活动,WAIC 开发者日共设置主论坛、分论坛、高峰对话、开发者日百度公开课、开源开放 Demo Day、黑客马拉松等多个环节。
7月11日上午,开发者日4场分论坛与开发者日百度公开课已圆满落幕,欢迎大家继续关注下午的主论坛内容。