一鸣参与

2小时演讲,近140页PPT,这个NeurIPS Tutorial真是超硬核的AI硬件教程

NeurlPS 2019 大会正在加拿大温哥华召开中。昨日,MIT 教授 Vivienne Sze 在大会上发表了一个关于深度神经网络加速的演讲,大会提供了视频和同步的 PPT。通过两个小时的精彩演讲和多达 140 页的 PPT,演讲可谓是将神经网络加速这个快速发展的领域一网打尽。

近日,NeurlPS2019 大会放出了一个名为「Efficient Processing of Deep Neural Network: from Algorithms to Hardware Architectures」的演讲。该演讲主要介绍各类能够使硬件高效处理深度神经网络(DNN)计算的方法,包括在计算机视觉语音识别、机器人等领域,而涉及到的硬件包含了从 CPU、GPU 到 FPGA 和 ASIC 等各类计算硬件。

演讲地址(包括同步的 PPT):https://slideslive.com/38921492/efficient-processing-of-deep-neural-network-from-algorithms-to-hardware-architectures

PPT 地址:http://eyeriss.mit.edu/2019_neurips_tutorial.pdf

演讲主讲人是 Vivienne Sze,来自 MIT 的高效能多媒体系统组(Energy-Efficient Multimedia Systems Group)。她曾就读于多伦多大学,在 MIT 完成 PhD 学业并获得电气工程博士学位,目前在 MIT 任教。Sze 教授的主要研究兴趣是高效能算法和移动多媒体设备应用架构,

Sze 教授。

DNN 加速方法全涵盖

本次演讲的主题是 DNN 在硬件设备中的高效计算处理方法。随着深度学习算法效率逐渐提高,计算速度、延迟程度、耗能和硬件成本成为制约算法性能的瓶颈问题。如果能够解决这些问题,包括自动驾驶、无人机导航、智能手机、可穿戴设备和物联网设备就都能够受益于算法性能的提升。

在演讲中,Sze 教授首先会介绍 DNN 算法,以及它们在各类硬件上部署时可能带来的性能损失。更重要的是,演讲会提到基准测试和评价标准对设计高效 DNN 算法带来的影响。之后,Sze 教授会从算法角度硬件架构两个角度介绍减少耗能的方法。同时,演讲也会涵盖将这些方法应用于计算机视觉等领域。Sze 教授因多项成果获得过谷歌和 Facebook 的 faculty 奖等多个奖项。

本次演讲的主要目标如下:

  • 1. 让硬件高效处理 DNN 的方法(非常多);

  • 2. 关注包括设计 DNN 硬件处理器和 DNN 模型的评估方法;
  •  设计 DNN 硬件处理器和 DNN 模型的方法;

  •  研究过程中,你应当问什么样的关键问题;

  • 3. 具体地,演讲还会讨论;

  •  真正需要评价和对比的评估指标体系;

  •  达成这些指标的挑战;

  •  了解设计中需要考虑到的问题,以及可能平衡在算法性能和耗能中遇到的问题;

  • 4. 要关注硬件推理,但包括一部分训练的内容。

在讲解的过程中,Sze 教授会穿插大量的图解和案例,让介绍更加充实有趣。

演讲目录

以下为演讲目录:

  • 深度神经网络概述;

  • 关键指标和设计目标;

  • 设计考量:

  •  CPU 和 GPU 平台;

  •  专用/特殊用途平台(ASICs);

  •  Q&A;

  •  算法(DNN 模型)和硬件联合设计;

  •  其他平台;

  • 用于系统评价 DNN 处理器的工具;

从视频来看,Sze 教授十分严谨、细致地介绍了这一领域几乎所有的内容,非常适合在实际应用中需要了解各类硬件加速方法的研究者和开发者观看。机器之心对其中的主要内容进行了选编:

重点内容

演讲刚开始,Sze 教授回顾了深度学习的发展,并简要提到了一些主要的 DNN 模型。

随后,她介绍了评价模型在耗能方面的一些关键指标。她指出,指标体系实际上比人们想的要丰富和复杂得多。比如说,在评价模型的时候,要更多地关注到诸如延迟性(在交互式应用中)、能耗、硬件成本、灵活性和可扩展性等方面。

这些指标背后,都应当有具体可量化的目标。因此,在演讲中,Sze 教授将这些目标分解为多个实际的子任务目标,并量化了所需要经过的步骤和方法。并根据分解任务和分析后的结果提出应当进行优化的环节,以及具体的方法,整个讲解鞭辟入里。

要达成这些指标,需要的不仅仅是算法方面的优化。Sze 教授同时也介绍了设计方面应当考虑的目标和任务,并分解成了软件和硬件层面,并给出了详细的分解。

演讲中还值得一提的是,Sze 教授提到了算法和硬件协同设计的思路。通过这样的方式,更好更快地达到目标。

甚至有对神经架构搜索一类算法的设计思路整理。

最后,Sze 教授对整个演讲进行了总结。

从演讲内容来看,Sze 教授的思路非常清楚。她首先为「高效加速 DNN」提出了评价标准和对应的分解任务和目标,并根据这些目标提出相应的方法。期间还囊括了不同的硬件平台、算法和任务,可谓是「一条龙」介绍。机器之心在此推荐读者朋友观看演讲,定能有所收获。

当然,除了 Sze 教授的演讲外,机器之心还会继续关注重要的 Tutorial 并推荐给大家。欢迎读者们继续关注 NeurlPS2019 大会相关报道。

入门深度神经网络基准测试MITNeurlPS 2019
4
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

无人机技术

无人机(Uncrewed vehicle、Unmanned vehicle、Drone)或称无人载具是一种无搭载人员的载具。通常使用遥控、导引或自动驾驶来控制。可在科学研究、军事、休闲娱乐用途上使用。

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域,它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性,目前的语音识别系统只能在一定的限制条件下获得满意的性能,或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

深度神经网络技术

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

推荐文章
暂无评论
暂无评论~