机器之心翻译

2020/03/05 17:41

Charles Q. Choi等作者

Nature新研究：摄像头是天生的神经网络，速度超越传统方法千倍

摄像头 CMOS 会成为新一代 GPU 吗？

作为各家厂商比拼的重点，今天手机上的摄像头已经做到了一亿像素，而摄像头感光器件也是典型的半导体芯片，本质是二极管，这类精密的结构用来做神经网络运算效果如何？最新一期《自然》杂志上的研究告诉我们：速度是传统处理方法的上千倍。

对于计算机视觉，镜头是它的眼睛，获取丰富的视觉信息后就可以传递给处理单元，并依靠它实现各种视觉能力。这是 CV 最常规的范式，也最符合我们的直觉，但是你会发现有两大问题。

首先，从镜头传递信息给处理单元，这一步并不简单，尤其是在使用云计算的情况下，这都怪视觉信息太丰富了。其次，处理单元的工作也不简单，计算量庞大的视觉模型常常让人望而却步。

而在这篇 Nature 最新研究中，研究者表明图像传感器本身也可以「印刻」神经网络，它能同时担当感光与处理图像这两大功能，且还没有延迟。更重要的是，这种机器视觉芯片比传统卷积神经网络要快上千倍。只要一块芯片，相机秒变智能终端。

与人脑一样，新芯片能以纳秒级的速度感知、分类简单的图像。

除了快以外，因为芯片采用的基本元件是光电二极管，只依靠光就能「发电」并完成计算，运行速度受限于电路中电子的速度。

目前，这项由维也纳科技大学提交的研究已发表在 3 月 4 号的《Nature》杂志上。

为芯片印刻神经网络

为了将神经网络「印刻」到图像传感器上，研究者在芯片上构造了一种光电二极管网络，这些光电二极管非常微小，且对光非常敏感。我们可以通过改变电压来增加或减少每个二极管对光的响应，从而调整每个二极管的灵敏度。

实际上，这些光电传感器网络就等同于神经网络，它们能够执行简单的计算任务。改变光电二极管的光响应强度会改变网络中的连接强度，也就类似于神经网络中的权重。因此，该芯片巧妙地将光学传感与神经形态计算相结合。

a 为神经网络的二极管阵列，具有相同颜色的子像素会并联在一起；b 为光电二极管阵列中单个像素的电路图；c 与 d 就是我们熟悉的神经网络模型，它们可以「内嵌」到该芯片中。

传感器是由一组像素组成，且每个像素代表一个神经元。同时，每个像素再依次由若干个子像素组成，每个子像素代表一个突触。每个光电二极管都基于一层二硒化钨 ( tungsten diselenide )，是一种对光有响应且可调的二维半导体。这种可调节的光响应度就类似于神经网络中的权重。

研究者表示，将光电二极管排列成 9 个像素的方阵，每个像素带有 3 个二极管。当某张图像的光线映射到芯片后，会产生、组合各种二极管电流，从而完成硬件阵列提供的模拟计算形式。也就是说，只要感受到光，片上「神经网络」就开始计算了。

训练神经网络

整个阵列可以进行训练以执行视觉任务，因为阵列产生的电流与预测电流中的不一致，研究者可以在计算机上分析并调整权重，从而更新芯片上的神经网络。虽然训练过程中是需要时间与计算资源的，但一旦训练完成，芯片将能急速地处理视觉任务。

科学家基于这些光电二极管间的连接方式创建了一个神经网络，并且可以训练这些神经网络将图像分类为字母「n」「v」或「z」。

「我们的图像传感器不会在工作时消耗任何电能。」Mennel 说，「被感知的光子会提供电流。」

在实验中，研究者使用激光来投影「v」和「n」到神经网络图像传感器中。传统的计算机视觉技术通常能在每秒处理 100 帧，可能一些更快的系统能够每秒处理 1000 帧。Mennel 表示，相比之下，「我们的系统差不多能每秒处理 2000 万帧。」

a 为训练分类器与自编码器的实验配置，b 为用于测量 time-resolved 的实验设置，c 为光学实验的近景照片。

Mennel 提到，系统运行的速度只受限于芯片中电子的速度。原则上，这一策略在皮秒内就可以完成，比现有的视觉方法快 3 到 4 个量级。

除了字母识别与分类模型，研究者在实验中还测试了自编码器模型。该模型在存在信号噪声的情况下，传感器计算阵列也可以学习图像的关键特征，并解码以构建接近原始图像的生成图。只要训练完成，这种无监督生成模型的推断速度同样非常快。

所以，芯片到底有什么用？

这样的传感器有什么用途呢？「在这一阶段，这一技术主要用于特定的科学研究，如流体动力学、燃烧进程、或机械故障处理。」Mennel 说，「对于更复杂的任务，如自动驾驶中的机器视觉，我们可能需要更高的复杂度。」

在投入实际应用前，这种感光+计算的芯片还有很长的路要走。对于真实视觉信息而言，它还包含三维信息、动态图像以及视频的时间轴等。而当前的图像感知技术都只能将三维压缩到二维，芯片也就丢失了很多信息。

与此同时，作者表示，芯片昏暗条件下需要重新设计，以增加可检测的光强度范围。这种「重新设计」需要高压并消耗大量能源。最后就是半导体制作能力了，这种超薄半导体难以大面积生产，且难以加工。

不过尽管面临着重重阻碍，但将神经网络与感光能力结合到一起，在感光的同时产生电流，在产生电流的同时完成视觉任务，这样的芯片还是非常有意思。

参考内容：

https://spectrum.ieee.org/tech-talk/computing/hardware/image-neural

https://www.nature.com/articles/s41586-020-2038-x

理论摄像头GPUNature神经网络

相关数据

权重技术

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

来源：Google AI Glossary

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

云计算技术

云计算（英语：cloud computing），是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机各种终端和其他设备。

来源：Cloud Computing

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

神经元技术

（人工）神经元是一个类比于生物神经元的数学计算模型，是神经网络的基本组成单元。对于生物神经网络，每个神经元与其他神经元相连，当它“兴奋”时会向相连的神经元发送化学物质，从而改变这些神经元的电位；神经元的“兴奋”由其电位决定，当它的电位超过一个“阈值”（threshold）便会被激活，亦即“兴奋”。目前最常见的神经元模型是基于1943年 Warren McCulloch 和 Walter Pitts提出的“M-P 神经元模型”。在这个模型中，神经元通过带权重的连接接处理来自n个其他神经元的输入信号，其总输入值将与神经元的阈值进行比较，最后通过“激活函数”（activation function）产生神经元的输出。

来源：Overview of Artificial Neural Networks and its Applications. (2018). medium.com.

神经形态计算技术

神经形态工程也称为神经形态计算，是Carver Mead在1980年代后期开发的一个概念，描述了使用包含电子模拟电路来模拟神经系统中存在的神经生物学结构的超大规模集成（VLSI）系统。近来，神经形态(Neuromorphic)一词已被用于描述模拟、数字、混合模式模拟/数字VLSI以及实现神经系统模型（用于感知，运动控制或多感官集成）的软件系统。

来源：Wikipedia

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建立变量间的条件概率分布。

来源：维基百科

图像分类技术

图像分类，根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。

来源：百度百科

机器视觉技术

机器视觉（Machine Vision，MV）是一种为自动化检测、过程控制和机器人导航等应用提供基于图像的自动检测和分析的技术和方法，通常用于工业领域。

来源：wiki