机器之心翻译

2022/02/10 15:16

Adi Fuchs作者

详解AI加速器（二）：为什么说现在是AI加速器的黄金时代？

在上一篇文章中，前苹果工程师、普林斯顿大学博士 Adi Fuchs 解释了 AI 加速器诞生的动机。在这篇文章中，我们将跟着作者的思路回顾一下处理器的整个发展历程，看看 AI 加速器为什么能成为行业焦点。

这是本系列博客的第二篇，我们来到了整个系列的关键所在。在为新公司或新项目做推介时，风投资本家或高管经常会问一个基本问题：「为什么是现在?」

为了回答这个问题，我们需要简单回顾一下处理器的发展历史，看看近些年这一领域发生了哪些重大变化。

处理器是什么？

简而言之，处理器是计算机系统中负责实际数字计算的部分。它接收用户输入数据（用数值表示），并根据用户的请求生成新的数据，即执行一组用户希望的算术运算。处理器使用其算术单元来生成计算结果，这意味着运行程序。

20 世纪 80 年代，处理器在个人电脑中被商品化。它们逐渐成为我们日常生活中不可或缺的一部分，笔记本电脑、手机和连接数十亿云和数据中心用户的全球基础设施计算结构中都有它们的身影。随着计算密集型应用的日益普及和大量新用户数据的出现，当代计算系统必须满足对处理能力不断增长的需求。因此，我们总是需要更好的处理器。长期以来，「更好」意味着「更快」，但现在也可以是「更高效」，即花同样的时间，但使用的能源更少，碳足迹更少。

处理器进化史

计算机系统的进化是人类最杰出的工程成就之一。我们花了大约 50 年的时间达到了这样一种高度：一个人口袋里的普通智能手机拥有的计算能力是阿波罗登月任务中用到的房间大小的计算机的 100 万倍。这一演变的关键在于半导体行业，以及它如何改进处理器的速度、功率和成本。

英特尔 4004：第一款商用微处理器，发布于 1971 年。

处理器是由被称为「晶体管」的电子元件组成的。晶体管是逻辑开关，用作从原始逻辑函数（如与、或、非）到复杂算术（浮点加法、正弦函数）、存储器（如 ROM、DRAM）等所有东西的构建模块。这些年来，晶体管一直在不断缩小。

1965 年，戈登 · 摩尔发现，集成电路中的晶体管数量每年翻一番（后来更新为每 18-24 个月）。他预计这一趋势将持续至少十年。虽然有人认为，这与其说是一个「定律」，不如说是一个「行业趋势」，但它确实持续了大约 50 年，是历史上持续时间最长的人为趋势之一。

晶体管缩放的电学特性。

但除了摩尔定律，还有一条不那么有名但同样重要的定律。它被称为「登纳德缩放比例定律」，由罗伯特 · 登纳德在 1974 年提出。虽然摩尔定律预测晶体管将逐年缩小，但登纳德问道：「除了能够在单个芯片上安装更多晶体管之外，拥有更小的晶体管还有什么实际好处？」他的观察结果是，当晶体管以 k 为倍数缩小时，电流也会降低。此外，由于电子移动的距离更小，我们最终得到的晶体管快了 k 倍，最重要的是——它的功率下降到 1/k^2。因此，总的来说，我们可以多装 k^2 个晶体管，逻辑函数将快大约 k 倍，但芯片的功耗不会增加。

处理器发展第一阶段：频率时代（1970-2000 年代）

微处理器频率速率的演变。

早期，微处理器行业主要集中在 CPU 上，因为 CPU 是当时计算机系统的主力。微处理器厂商充分利用了缩放定律。具体来说，他们的目标是提高 CPU 的频率，因为更快的晶体管使处理器能够以更高的速率执行相同的计算（更高的频率 = 每秒更多的计算)。这是一种有些简单的看待事物的方式；处理器有很多架构创新，但最终，在早期，频率对性能有很大贡献，从英特尔 4004 的 0.5MHz、486 的 50MHz、奔腾的 500MHz 到奔腾 4 系列的 3–4GHz。

功率密度的演变。

大约在 2000 年，登纳德缩放比例定律开始崩溃。具体来说，随着频率的提升，电压停止以相同的速率下降，功率密度速率也是如此。如果这种趋势持续下去，芯片发热问题将不容忽视。然而，强大的散热方案还不成熟。因此，供应商无法继续依靠提高 CPU 频率来获得更高的性能，需要想想其他出路。

处理器发展第二阶段：多核时代（2000 年代 - 2010 年代中期）

停滞不前的 CPU 频率意味着提高单个应用的速度变得非常困难，因为单个应用是以连续指令流的形式编写的。但是，正如摩尔定律所说的那样，每过 18 个月，我们芯片中的晶体管就会变为原来的两倍。因此，这次的解决方案不是加快单个处理器的速度，而是将芯片分成多个相同的处理内核，每个内核执行其指令流。

CPU 和 GPU 核数的演化。

对于 CPU 来说，拥有多个内核是很自然的，因为它已经在并发执行多个独立的任务，比如你的互联网浏览器、文字处理器和声音播放器（更准确地说，操作系统在创建这种并发执行的抽象方面做得很好）。因此，一个应用可以在一个内核上运行，而另一个应用可以在另一个内核上运行。通过这种实践，多核芯片可以在给定的时间内执行更多的任务。然而，为了加快单个程序的速度，程序员需要将其并行化，这意味着将原始程序的指令流分解成多个指令「子流」或「线程」。简单地说，一组线程可以以任何顺序在多个内核上并发运行，没有任何一个线程会干扰另一个线程的执行。这种实践被称为「多线程编程」，是单个程序从多核执行中获得性能提升的最普遍方式。

多核执行的一种常见形式是在 GPU 中。虽然 CPU 由少量快速和复杂的内核组成，但 GPU 依赖大量更简单的内核。通常来讲，GPU 侧重于图形应用，因为图形图像（例如视频中的图像）由数千个像素组成，可以通过一系列简单且预先确定的计算来独立处理。从概念上来说，每个像素可以被分配一个线程，并执行一个简单的「迷你程序」来计算其行为（如颜色和亮度级别）。高度的像素级并行使得开发数千个处理内核变得很自然。因此，在下一轮处理器进化中，CPU 和 GPU 供应商没有加快单个任务的速度，而是利用摩尔定律来增加内核数量，因为他们仍然能够在单个芯片上获得和使用更多的晶体管。

不幸的是，到了 2010 年前后，事情变得更加复杂：登纳德缩放比例定律走到了尽头，因为晶体管的电压接近物理极限，无法继续缩小。虽然以前可以在保持相同功率预算的情况下增加晶体管数量，但晶体管数量翻倍意味着功耗也翻倍。登纳德缩放比例定律的消亡意味着当代芯片将遭遇「利用墙（utilization wall）」。此时，我们的芯片上有多少晶体管并不重要——只要有功耗限制（受芯片冷却能力的限制），我们就不能利用芯片中超过给定部分的晶体管。芯片的其余部分必须断电，这种现象也被称为「暗硅」。

处理器发展第三阶段：加速器时代（2010 年代至今）

暗硅本质上是「摩尔定律终结」的大预演——对处理器制造商来说，时代变得具有挑战性。一方面，计算需求飞速增长：智能手机变得无处不在，而且拥有强大的计算能力，云服务器需要处理越来越多的服务，「最糟糕的是」——人工智能重新登上历史舞台，并以惊人的速度吞噬计算资源。另一方面，在这个不幸的时代，暗硅成为晶体管芯片发展的障碍。因此，当我们比以往任何时候都更需要提高处理能力时，这件事却变得以往任何时候都更加困难。

训练 SOTA AI 模型所需的计算量。

自从新一代芯片被暗硅束缚以来，计算机行业就开始把精力放到了硬件加速器上。他们的想法是：如果不能再增加晶体管，那就好好利用现有的晶体管吧。具体怎么做呢？答案是：专门化。

传统的 CPU 被设计成通用的。它们使用相同的硬件结构来运行我们所有应用（操作系统、文字处理器、计算器、互联网浏览器、电子邮件客户端、媒体播放器等）的代码。这些硬件结构需要支持大量的逻辑操作，并捕获许多可能的模式和程序诱发的行为。这相当于硬件可用性很好，但效率相当低。如果我们只专注于某些应用，我们就可以缩小问题领域，进而从芯片中去除大量的结构冗余。

通用 CPU vs. 面向特定应用的加速器。

加速器是专门面向特定应用或领域的芯片，也就是说，它们不会运行所有应用（例如不运行操作系统)，而是在硬件设计层面就考虑一个很窄的范围，因为：1）它们的硬件结构仅满足特定任务的操作；2）硬件和软件之间的接口更简单。具体来说，由于加速器在给定的域内运行，加速器程序的代码应该更紧凑，因为它编码的数据更少。

举个例子，假如你要开一家餐厅，但面积、用电预算是有限的。现在你要决定这个餐厅具体做哪些菜，是比萨、素食、汉堡、寿司全做（a）还是只做披萨（b）？

如果选 a，你的餐厅确实能满足很多口味不同的顾客，但你的厨师就要做很多菜，而且不见得每种都擅长。此外，你可能还需要买多个冰箱来存储不同的食材，并密切关注哪些食材用完了，哪些变质了，不同的食材还有可能混在一起，管理成本大大提高。

但如果选 b，你就可以雇佣一位顶级的披萨专家，准备少量的配料，再买一台定制的烤箱来做披萨。你的厨房会非常整洁、高效：一张桌子做面团，一张桌子放酱汁和奶酪，一张桌子放配料。但同时，这种做法也有风险：如果明天没有人想吃披萨怎么办？如果大家想吃的披萨用你定制的烤箱做不出来怎么办？你已经花了很多钱打造这个专门化的厨房，现在是进退两难：不改造厨房就可能面临关店，改造又要花一大笔钱，而且改完之后，客户的口味可能又变了。

回到处理器世界：类比上面的例子，CPU 就相当于选项 a，面向特定领域的加速器就是选项 b，店面大小限制就相当于硅预算。你将如何设计你的芯片？显然，现实并没有那么两极分化，而是有一个类似光谱的过渡区域。在这个光谱中，人们或多或少地用通用性来换取效率。早期的硬件加速器是为一些特定领域设计的，如数字信号处理、网络处理，或者作为主 CPU 的辅助协处理器。

从 CPU 到主要加速应用领域的第一个转变是 GPU。一个 CPU 有几个复杂的处理核心，每个核心都采用各种技巧，比如分支预测器和乱序执行引擎，以尽可能加快单线程作业的速度。GPU 的结构则有所不同。GPU 由许多简单的内核组成，这些内核具有简单的控制流并运行简单的程序。最初，GPU 用于图形应用，如计算机游戏，因为这些应用包含由数千或数百万像素组成的图像，每个像素都可以并行独立计算。一个 GPU 程序通常由一些核函数组成，称为「内核（kernel）」。每个内核都包含一系列简单的计算，并在不同的数据部分（如一个像素或包含几个像素的 patch）执行数千次。这些属性使得图形应用成为硬件加速的目标。它们行为简单，因此不需要分支预测器形式的复杂指令控制流；它们只需要少量操作，因此不需要复杂的算术单元（比如计算正弦函数或进行 64 位浮点除法的单元）。人们后来发现，这些属性不仅适用于图形应用，GPU 的适用性还可以扩展到其他领域，如线性代数或科学应用。如今，加速计算已经不仅仅局限于 GPU。从完全可编程但低效的 CPU 到高效但可编程性有限的 ASIC，加速计算的概念无处不在。

深度神经网络的处理替代方案。来源：微软。

如今，随着越来越多表现出「良好」特性的应用程序成为加速的目标，加速器越来越受关注：视频编解码器、数据库处理器、加密货币矿机、分子动力学，当然还有人工智能。

是什么让 AI 成为加速目标？

商业可行性

设计芯片是一个费力、耗资的事情——你需要聘请行业专家、使用昂贵的工具进行芯片设计和验证、开发原型以及制造芯片。如果你想使用尖端的制程（例如现在的 5nm CMOS），耗资将达到数千万美元，不论成功或失败。幸运的是，对于人工智能来说，花钱不是问题。AI 的潜在收益是巨大的，AI 平台有望在不久的将来产生数万亿美元的收入。如果你的想法足够好，你应该能够很容易地为这项工作找到资金。

AI 是一个「可加速」的应用领域

AI 程序具有使其适用于硬件加速的所有属性。首先最重要的是，它们是大规模并行的：大部分计算都花在张量运算上，如卷积或自注意力算子。如果可能，还可以增加 batch size，以便硬件一次处理多个样本，提高硬件利用率并进一步推动并行性。硬件处理器驱动其快速运行能力的主要因素是并行计算。其次，AI 计算仅限于少数运算种类：主要是线性代数核的乘法和加法、一些非线性算子，例如模拟突触激活的 ReLU，以及基于 softmax 的分类的指数运算。狭窄的问题空间使我们能够简化计算硬件，专注于某些运算符。

最后，由于 AI 程序可以表示为计算图，因此我们可以在编译时知道控制流，就像具有已知迭代次数的 for 循环一样，通信和数据重用模式也相当受限，因此可以表征我们需要哪些网络拓扑在不同计算单元和软件定义的暂存存储器之间通信数据，以控制数据的存储和编排方式。

AI 算法是以硬件友好的方式构建的

不久之前，如果你想在计算架构领域进行创新，你可能会说：「我有一个新的架构改进的想法，它可以显著地提高一些东西，但是——我需要做的就是稍微改变编程界面并让程序员使用这个功能。」在那个时候这种想法会行不通。程序员的 API 是不可触及的，而且用破坏程序「干净」语义流的低级细节来加重程序员的负担是很难的。

此外，将底层架构细节与面向程序员的代码混合在一起并不是一个好习惯。首先它是不可移植的，因为某些架构特征在芯片代际之间发生变化。其次它可能会被错误地编程，因为大多数程序员对底层硬件没有深入的了解。

虽然你可以说 GPU 和多核 CPU 已经因为多线程（有时甚至是——内存墙）偏离了传统的编程模型，但由于单线程性能早已不是指数级增长，我们只能将希望诉诸于多线程编程，因为这是我们唯一的选择。多线程编程仍然很难掌握，需要大量的教育。幸运的是，当人们编写 AI 程序时，他们会使用神经层和其他定义明确的块来构建计算图。

高级程序代码（例如 TensorFlow 或 PyTorch 中的代码）已经在以一种可以标记并行块并构建数据流图的方式编写。因此理论上，你可以构建丰富的软件库和足够精细的编译器工具链来理解程序的语义并将其有效地降为硬件表示，而无需开发应用程序的程序员做任何参与，让数据科学家做他们的事情，他们可以不在乎任务在哪些硬件上运行。在实践中，编译器完全成熟还需要时间。

几乎没有其他选择

人工智能无处不在，大型数据中心、智能手机、传感器，机器人和自动驾驶汽车中都有它的身影。每个系统都有不同的现实限制：人们肯定不愿意自动驾驶汽车因为算力太小而无法检测障碍物，也不能接受因为效率低而在训练超大规模预训练模型时每天多花数千美元，AI 的硬件不存在一个芯片适用所有场景的说法，计算需求巨大，每一点效率都意味着花费大量的时间、精力和成本。如果没有适当的加速硬件来满足你的 AI 需求，对 AI 进行实验和发现的能力将受到限制。

原文链接：

https://medium.com/@adi.fu7/ai-accelerators-part-ii-transistors-and-pizza-or-why-do-we-need-accelerators-75738642fdaa

工程AI加速器

相关技术

推理网络 OpenCV

自注意力技术

自注意力（Self-attention），有时也称为内部注意力，它是一种涉及单序列不同位置的注意力机制，并能计算序列的表征。自注意力在多种任务中都有非常成功的应用，例如阅读理解、摘要概括、文字蕴含和语句表征等。自注意力这种在序列内部执行 Attention 的方法可以视为搜索序列内部的隐藏关系，这种内部关系对于翻译以及序列任务的性能非常重要。

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

核函数技术

核函数包括线性核函数、多项式核函数、高斯核函数等，其中高斯核函数最常用，可以将数据映射到无穷维，也叫做径向基函数（Radial Basis Function 简称 RBF），是某种沿径向对称的标量函数。最常应用于SVM支持向量机中

来源：百度百科

数字信号处理技术

数字信号处理（digital signal processing），简称DSP，是指用数学和数字计算来解决问题。大学里，数字信号处理常指用数字表示和解决问题的理论和技巧；而DSP也是数字信号处理器（digital signal processor）的简称，是一种可编程计算机芯片，常指用数字表示和解决问题的技术和芯片。

来源：维基百科

数据科学技术

数据科学，又称资料科学，是一门利用数据学习知识的学科，其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术，包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。

来源：维基百科

自动驾驶汽车技术

自动驾驶汽车，又称为无人驾驶汽车、电脑驾驶汽车或轮式移动机器人，是自动化载具的一种，具有传统汽车的运输能力。作为自动化载具，自动驾驶汽车不需要人为操作即能感测其环境及导航。

来源：维基百科

TensorFlow技术

TensorFlow是一个开源软件库，用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品，如语音识别、Gmail、Google 相册和搜索，其中许多产品曾使用过其前任软件DistBelief。

来源：维基百科

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在维空间内，有个分量的一种量，其中每个分量都是坐标的函数，而在坐标变换时，这些分量也依照某些规则作线性变换。称为该张量的秩或阶（与矩阵的秩和阶均无关系）。在数学里，张量是一种几何实体，或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达，记作标量的数组，但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中，表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了，它们都是二阶张量，对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

来源：维基百科

数据库技术

数据库，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据运行新增、截取、更新、删除等操作。所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

来源：维基百科

逻辑技术

人工智能领域用逻辑来理解智能推理问题；它可以提供用于分析编程语言的技术，也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑（Propositional Logic ）以及一阶逻辑（FOL）等谓词逻辑。

来源：机器之心

操作系统技术

操作系统（英语：operating system，缩写作 OS）是管理计算机硬件与软件资源的计算机程序，同时也是计算机系统的内核与基石。操作系统需要处理如管理与配置内存、决定系统资源供需的优先次序、控制输入与输出设备、操作网络与管理文件系统等基本事务。操作系统也提供一个让用户与系统交互的操作界面。

来源：百度百科

摩尔定律技术

摩尔定律是由英特尔创始人之一戈登·摩尔提出来的。其内容为：积体电路上可容纳的电晶体数目，约每隔两年便会增加一倍；经常被引用的“18个月”，是由英特尔首席执行官大卫·豪斯所说：预计18个月会将芯片的性能提高一倍。

来源：维基百科

线性代数技术

线性代数是数学的一个分支，它的研究对象是向量，向量空间（或称线性空间），线性变换和有限维的线性方程组。向量空间是现代数学的一个重要课题；因而，线性代数被广泛地应用于抽象代数和泛函分析中；通过解析几何，线性代数得以被具体表示。线性代数的理论已被泛化为算子理论。由于科学研究中的非线性模型通常可以被近似为线性模型，使得线性代数被广泛地应用于自然科学和社会科学中。

来源：百度百科

深度神经网络技术

深度神经网络（DNN）是深度学习的一种框架，它是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。

来源：机器之心 Techopedia

算术技术

算术（英语：arithmetic）是数学最古老且最简单的一个分支，几乎被每个人使用着，从日常生活上简单的算数到高深的科学及工商业计算都会用到。一般而言，算术这一词指的是记录数字某些运算基本性质的数学分支。

来源：维基百科