Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

生成式AI时代的模型压缩与加速,韩松主讲MIT课程,资料全公开

近年来,生成式大模型(如大语言模型、扩散模型)已显示出卓越的性能,但它们需要大量的计算资源。为了让这些模型更易于使用,提高它们的效率至关重要。

在最新的一季 MIT 6.5940 课程中,MIT 学者韩松将深入解读生成式大模型时代的「AI 计算的模型压缩与加速技术」。
图片
课程主页:https://efficientml.ai/

课程全名为《TinyML 和高效的深度学习计算》。概括来说,这门课程将介绍高效的人工智能计算技术,以便在资源有限的设备上实现强大的深度学习应用。

课程主题包括模型压缩、剪枝量化、神经架构搜索、分布式训练、数据 / 模型并行化、梯度压缩和设备微调,还介绍了针对大语言模型、扩散模型、视频识别和点云的特定应用加速技术,并涵盖了量子机器学习的相关主题。此外,学生将获得在笔记本电脑上部署大型语言模型(如 LLaMA 2)的实践经验。

最重要的是,这门课程的全部视频资源将上传到 Youtube 平台。
图片
播放列表地址:https://youtube.com/playlist?list=PL80kAHvQbh-pT4lCkDT53zT8DKmhE0idB&feature=shared

课程大纲

课程整体规划如下图所示:
图片
图片
目前,Youtube 栏目中已经更新了前五章的授课内容:第一章 Introduction,第二章是神经网络基础,第三、四章是剪枝和稀疏性,第五章是量化
图片
鉴于目前课程还在进行中,如果你对即将要学的内容非常好奇,也可以先行参考其 2022 年秋季的授课资料,包含视频和 PPT。

下载地址:https://www.dropbox.com/sh/0ftluqbd1afzqpy/AADqxwkYrt1FbGnSQ4KP3Kpva?dl=0

讲师介绍

这门课程由MIT副教授韩松主讲,并由他的两位博士生林吉和蔡涵担任助教。

图片

韩松在斯坦福大学获得博士学位,2018 年加入 MIT,现为电子工程科学系副教授,研究广泛涉足深度学习和计算机体系结构。
图片
韩松团队在硬件感知神经架构搜索(once-for-all network)方面的工作使用户能够设计、优化、缩小人工智能模型,并将其部署到资源受限的硬件设备上。

他曾提出包括剪枝量化在内的「深度压缩」(Deep Compression)技术。

他还提出了「高效推理引擎」(Efficient Inference Engine,EIE),首次将权重稀疏性引入现代 AI 芯片,并影响了英伟达公司带有稀疏张量核心的安培 GPU 架构。

顺便一提,韩松博士的两次创业,均获得了 AI 领域的高度关注。

博士期间,韩松与同为清华大学毕业的汪玉、姚颂联合创立了深鉴科技(DeePhi Tech),其核心技术之一为神经网络压缩算法,随后深鉴科技被美国半导体公司赛灵思收购。

2021 年,韩松与吴迪、毛慧子共同成立 AI 边缘计算公司 OmniML,旨在通过创建深度学习模型来弥合 AI 应用程序与边缘上的各种设备之间的差距,从而提高 AI 的速度、准确性和效率。今年,该公司被英伟达收购。
入门
1
相关数据
清华大学机构

清华大学(Tsinghua University),简称“清华”,由中华人民共和国教育部直属,中央直管副部级建制,位列“211工程”、“985工程”、“世界一流大学和一流学科”,入选“基础学科拔尖学生培养试验计划”、“高等学校创新能力提升计划”、“高等学校学科创新引智计划”,为九校联盟、中国大学校长联谊会、东亚研究型大学协会、亚洲大学联盟、环太平洋大学联盟、清华—剑桥—MIT低碳大学联盟成员,被誉为“红色工程师的摇篮”。 清华大学的前身清华学堂始建于1911年,因水木清华而得名,是清政府设立的留美预备学校,其建校的资金源于1908年美国退还的部分庚子赔款。1912年更名为清华学校。1928年更名为国立清华大学。1937年抗日战争全面爆发后南迁长沙,与北京大学、南开大学组建国立长沙临时大学,1938年迁至昆明改名为国立西南联合大学。1946年迁回清华园。1949年中华人民共和国成立,清华大学进入了新的发展阶段。1952年全国高等学校院系调整后成为多科性工业大学。1978年以来逐步恢复和发展为综合性的研究型大学。

http://www.tsinghua.edu.cn/
相关技术
深鉴科技机构

深鉴科技成立于2016年3月,定位为深度学习硬件解决方案公司,将以自主研发的深度压缩与深度学习处理器(DPU)为核心,打造最好用的解决方案和最高效的整体系统,提供硬件+芯片+软件+算法的完整方案,方便所有人使用。同时,深鉴主要瞄准智慧城市和数据中心两大市场,可帮助用户为多种智能安防场景打造稳定高效的解决方案。

相关技术
韩松人物

2017 年斯坦福大学电子工程系博士毕业,师从 NVIDIA 首席科学家 Bill Dally 教授。他的研究也广泛涉足深度学习和计算机体系结构,他提出的 Deep Compression 模型压缩技术曾获得 ICLR'16 最佳论文,ESE 稀疏神经网络推理引擎获得 FPGA'17 最佳论文,对业界影响深远。他的研究成果在 NVIDIA、Google、Facebook 得到广泛应用,博士期间创立了深鉴科技,现为麻省理工学院电气工程和计算机科学系的助理教授。

深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

剪枝技术

剪枝顾名思义,就是删去一些不重要的节点,来减小计算或搜索的复杂度。剪枝在很多算法中都有很好的应用,如:决策树,神经网络,搜索算法,数据库的设计等。在决策树和神经网络中,剪枝可以有效缓解过拟合问题并减小计算复杂度;在搜索算法中,可以减小搜索范围,提高搜索效率。

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度,其目的是进行资源的优化。常见的规划方法包括经典规划(Classical Planning)、分层任务网络(HTN)和 logistics 规划。

边缘计算技术

边缘运算(英语:Edge computing),又译为边缘计算,是一种分散式运算的架构,将应用程序、数据资料与服务的运算,由网络中心节点,移往网络逻辑上的边缘节点来处理。边缘运算将原本完全由中心节点处理大型服务加以分解,切割成更小与更容易管理的部分,分散到边缘节点去处理。边缘节点更接近于用户终端装置,可以加快资料的处理与传送速度,减少延迟。在这种架构下,资料的分析与知识的产生,更接近于数据资料的来源,因此更适合处理大数据。

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数,这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在 维空间内,有 个分量的一种量,其中每个分量都是坐标的函数,而在坐标变换时,这些分量也依照某些规则作线性变换。称为该张量的秩或阶(与矩阵的秩和阶均无关系)。 在数学里,张量是一种几何实体,或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达,记作标量的数组,但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中,表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了,它们都是二阶张量,对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

深度压缩技术

韩松等人提出的深度压缩(Deep Compression)由剪枝、量化训练和可变长度编码(variable-length coding)组成,它可以压缩深度神经网络数个量级而没有什么预测准确度损失。「深度压缩」是一种三阶段流程,它可以在保留原始准确度的情况下减小深度神经网络的模型大小。

量子机器学习技术

量子机器学习是量子物理学和机器学习交叉的一个新兴的交叉学科研究领域。人们可以区分四种不同的方式来结合这两个父类学科。量子机器学习算法可以利用量子计算的优势来改进经典的机器学习方法,例如通过在量子计算机上开发昂贵的经典算法的有效实现。 另一方面,可以应用经典的机器学习方法来分析量子系统。 一般来说,可以考虑学习装置和所研究的系统都是完全量子的情况。

推理引擎技术

推理机是实施问题求解的核心执行机构,常见于专家系统。它是对知识进行解释的程序,根据知识的语义,对按一定策略找到的知识进行解释执行,并把结果记录到动态库的适当空间中去。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

量化技术

深度学习中的量化是指,用低位宽数字的神经网络近似使用了浮点数的神经网络的过程。

神经网络压缩技术

神经网络压缩方向是目前深度学习研究的一个热门的方向,其主要的研究方向是压缩,蒸馏,网络架构搜索,量化等。

推荐文章
暂无评论
暂无评论~