GMIS 2017 大会 Leo Dirac 演讲:MXNet在分布式机器学习训练中的优势

全球机器智能峰会( GMIS 2017 ),是全球人工智能产业信息服务平台机器之心举办的首届大会,邀请了来自美国、欧洲、加拿大及国内的众多顶级专家参会演讲。本次大会共计 47 位嘉宾、5 个Session、32 场演讲、4 场圆桌论坛、1 场人机大战,兼顾学界与产业、科技巨头与创业公司,以专业化、全球化的视角为人工智能从业者和爱好者奉上一场机器智能盛宴。

5 月 27 日,由机器之心主办、为期两天的全球机器智能峰会(GMIS 2017)在北京 898 创新空间顺利开幕。中国科学院自动化研究所复杂系统管理与控制国家重点实验室主任王飞跃为本次大会做了开幕式致辞。大会第一天重要嘉宾「LSTM 之父」Jürgen Schmidhuber、Citadel 首席人工智能官邓力、腾讯 AI Lab 副主任俞栋、英特尔 AIPG 数据科学部主任、GE Transportation Digital Solutions CTO Wesly Mukai 等知名人工智能专家参与峰会,并在主题演讲、圆桌论坛等互动形式下,从科学家、企业家、技术专家的视角,解读人工智能的未来发展。

下午2点,Leo Parker Dirac发表了演讲。Leo Dirac是亚马逊人工智能首席工程师,目前致力于Apache MXNet机器学习框架的开发工作。他的演讲主题是MXNet在工业级的深度学习应用。

20170527133006.png


正如上午通用电气Wesly Mukai的演讲中说到的,在亚马逊,人工智能-机器学习技术已经渗入到了这家公司的各个业务,并已产生了巨大价值。 


20170527133434.png


去年底,亚马逊曾经展示了完全自由购物的超市Amazon Go。这是一家不需要店员的商店,顾客只需要在进门时刷一次二维码,拿上想要购买的商品,就可以大摇大摆地走出商店。在这个过程中,商店内的摄像头和传感器会采集用户的行动,通过计算机视觉和机器学习获知他们购买了哪些商品,随后自动结账。


亚马逊对于工业级机器学习运用和传统公司有所不同。“首先定义一下工业级的深度学习,”Deo Dirac说道,“这不是关于矿厂或者是火车、铁路,在这里我要定义一下我的工业级的AI,它是基于数以百万级用户上的人工智能应用,包括大规模场景识别,或者是亚马逊的商店。”


20170527134717.png


Amazon Go是一种未来购物的体验,背后需要机器学习技术的支撑。自AlexNet创造了很高的图像分辨成绩后,随着深度神经网络的发展,网络层数的增多导致了训练模型所需的计算能力不断升高,这导致了机器学习的效率变低。Aphache MXNet就是为了应对这样的挑战而生的,亚马逊致力于将MXNet构建为高效率可扩展的机器学习框架。

20170527135325.png

MXNet目前已经流行于学界和业界,在社区贡献的代码中,只有大约三分之一是亚马逊自己的。

MXNet起源于卡内基梅隆大学和华盛顿大学的实验室,它是一个全功能、可编程和可扩展的深度学习框架,支持最先进的深度学习模型。MXNet 支持混合编程模型(命令式和声明式编程)和多种编程语言的代码(包括 Python、C++、R、Scala、Julia、Matlab 和 JavaScript)。2017 年 1 月 30 日,MXNet 被列入了 Apache Incubator 开源项目。


MXNet 支持深度学习架构,如卷积神经网络(CNN)、循环神经网络(RNN)和其包含的长短时间记忆网络(LTSM)。该框架为图像、手写文字和语音的识别和预测以及自然语言处理提供了出色的工具。有些人称 MXNet 是世界上最好的图像分类器。

20170527140432.png

MXNet 具有可扩展的强大技术能力,如 GPU 并行和内存镜像、快速编程器开发和可移植性。此外,MXNet 与 Apache Hadoop YARN(一种通用分布式应用程序管理框架)集成,使 MXNet 成为 TensorFlow 有力的竞争对手。


MXNet 也支持最近流行的生成对抗网络(GAN)模型。该模型启发自实验经济学方法的纳什均衡。

20170527140945.png

MXNet是为分布式机器学习训练而设计的。Leo Dirac介绍说,MXNet在进行AlexNet任务中可以可以达到接近90%的效率,即使是在同时使用256个GPU时也能保证88%的运行效率,这意味着并行计算可以大大减少训练所需要的时间。

20170527141400.png

另一方面,MXNet支持平行训练。在这种方式中,每个Worker可以获得整个模型的使用权,使用自己的数据分别进行训练。“在模型训练中,我们也可以应用SGD——快速联动扫描的模式来训练整个神经网络,”Leo Dirac说道。“利用SGD,我们可以将大量不精确的数据加以利用。”

亚马逊认为,提高分布式计算的根本方法在于让通讯的方式更加高效。Leo Dirac表示:“我们需要一个统一的服务器,每一个工作器都只与服务器对话,而不是每一个工作器都与其他所有工作器对话。所有的信息都集中在这一个参数服务器上,它被称为 Parameter Server,作为集中的地方,统一集中所有的信息,再负责把信息分配下去。”

20170527141704.png

在MXNet上,开发者只需要简单的代码即可以轻松实现多GPU(在上面的例子中只需要加一行代码),甚至多用户训练,这是它对于其他框架的优势。

“过去,在很多其他的深度学习框架里,一些模型根本是不可能实现的。也许我们可以实现,但在那些框架中,我们需要理解刚才说的所有的理论,并且必须让自己成为一个非常好的分布式神经网络专家才能设计出一个应用级产品。但是如果我们使用Apache MXNet,就不需要成为一个专家,也能够来进行编程了。”

亚马逊的人工智能团队正在不断改进MXNet。通过不断地改进框架,深度学习正逐渐从实验室中走进我们的生活。

产业
暂无评论
暂无评论~
返回顶部