2023/10/23 14:52

220亿晶体管，IBM机器学习专用处理器NorthPole，能效25倍提升

IBM 再度发力。

随着 AI 系统的飞速发展，其能源需求也在不断增加。训练新系统需要大量的数据集和处理器时间，因此能耗极高。在某些情况下，执行一些训练好的系统，智能手机就能轻松胜任。但是，执行的次数太多，能耗也会增加。

幸运的是，有很多方法可以降低后者的能耗。IBM 和英特尔已经试验过模仿实际神经元行为设计的处理器。IBM 还测试了在相变存储器中执行神经网络计算，以避免重复访问 RAM。

现在，IBM 又推出了另一种方法。该公司的新型 NorthPole 处理器综合了上述方法的一些理念，并将其与一种非常精简的计算运行方法相结合，从而创造出一种能高效执行基于推理的神经网络的高能效芯片。在图像分类或音频转录等方面，该芯片的效率是 GPU 的 35 倍。

官方博客：https://research.ibm.com/blog/northpole-ibm-ai-chip

NorthPole 的不同之处

NorthPole 与传统的 AI 处理器不同

首先，NorthPole 对训练神经网络的需求没有任何帮助，它纯粹是为执行而设计的。

其次，它不是通用的 AI 处理器，而是专门为以推理为重点的神经网络设计的。所以，如果你想用它推理、找出图像或音频片段的内容等，那么它就对了。但如果你需要运行一个大型语言模型，这款芯片看起来就没有什么太大用处了。

最后，虽然 NorthPole 借鉴了神经形态计算芯片的一些理念，但它并不是神经形态硬件，因为它的处理单元执行的是计算，而不是模拟实际神经元使用的脉冲通信。

NorthPole 和之前的 TrueNorth 一样，由一个大型计算单元阵列（16×16）组成，每个单元都包含本地内存和代码执行能力。因此，神经网络中各种连接的所有权重都可以准确地存储在需要的地方。

他还有一个特点是广泛的片上网络，至少有四种不同的网络。其中一些网络将已完成计算的信息传送到下一个需要它们的计算单元。其他网络则用于重新配置整个计算单元阵列，在上一层计算仍在进行时，提供执行一层神经网络所需的神经权重和代码。最后，优化相邻计算单元之间的通信。这对于在图像中寻找物体边缘等情况非常有用。如果在输入图像时将相邻像素分配给相邻的计算单元，它们就能更轻松地合作识别出跨越相邻像素的特征。

除此之外，NorthPole 的计算资源也不同寻常。每个单元都经过优化，可执行精度较低的计算，精度从 2 bit 到 8 bit 不等。为了保证这些执行单元的使用，它们不能根据变量值执行条件分支。也就是说，使用者的代码不能包含 if 语句。这种简单的执行方式使每个计算单元都能进行大规模并行执行。在 2 bit 精度下，每个单元可并行执行 8000 多次计算。

配套软件

由于这些独特设计，NorthPole 团队需要开发自己的训练软件，以计算出每一层成功运行所需的最低精度水平。在芯片上执行神经网络也是一个相对不寻常的过程。

一旦神经网络的权重和连接被置于芯片上的缓冲区，执行时只需要一个外部控制器上传它要运行的数据，并告诉它开始运行。其他一切运行都无需中央处理器参与，这也限制了系统级功耗。

NorthPole 测试芯片采用 12 纳米工艺制造，远远落后于前沿技术。尽管如此，他们还是成功地在 220 亿晶体管上安装了 256 个计算单元，每个单元拥有 768 KB 的内存。当该系统与采用类似工艺制造的英伟达 V100 Tensor Core GPU 相比时，可以发现 NorthPole 在相同功耗下的计算能力是后者的 25 倍。

在相同的条件下，NorthPole 的性能比最先进的 GPU 高出约五倍。对该系统的测试表明，它还能高效执行一系列广泛使用的神经网络任务。

工程NorthPole

相关技术

感知

权重技术

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

来源：Google AI Glossary

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

神经元技术

（人工）神经元是一个类比于生物神经元的数学计算模型，是神经网络的基本组成单元。对于生物神经网络，每个神经元与其他神经元相连，当它“兴奋”时会向相连的神经元发送化学物质，从而改变这些神经元的电位；神经元的“兴奋”由其电位决定，当它的电位超过一个“阈值”（threshold）便会被激活，亦即“兴奋”。目前最常见的神经元模型是基于1943年 Warren McCulloch 和 Walter Pitts提出的“M-P 神经元模型”。在这个模型中，神经元通过带权重的连接接处理来自n个其他神经元的输入信号，其总输入值将与神经元的阈值进行比较，最后通过“激活函数”（activation function）产生神经元的输出。

来源：Overview of Artificial Neural Networks and its Applications. (2018). medium.com.

神经形态计算技术

神经形态工程也称为神经形态计算，是Carver Mead在1980年代后期开发的一个概念，描述了使用包含电子模拟电路来模拟神经系统中存在的神经生物学结构的超大规模集成（VLSI）系统。近来，神经形态(Neuromorphic)一词已被用于描述模拟、数字、混合模式模拟/数字VLSI以及实现神经系统模型（用于感知，运动控制或多感官集成）的软件系统。

来源：Wikipedia

图像分类技术

图像分类，根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。

来源：百度百科

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。由于字词与句子都是任意组合的长度，因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题)，也使得在语料库中估算字串的机率变得很困难，这也是要使用近似的平滑n元语法(N-gram)模型之原因。

来源：维基百科