IBM创造出世界上首个人工相变神经元,可实现高速无监督学习

IBM 苏黎世研究院创造出了世界上首个人工纳米级的随机相变神经元,他们已将论文发表在了 Nature Nanotechnology 上。据介绍,IBM 已经创造出了 500 个这样的人工神经元,并使用它们以类似大脑(神经形态)的方式处理过了信号。


这一突破相当地值得关注,因为这种相变神经元是由已经被充分理解的材料制成的,其尺寸能缩减至数个纳米级,而且它们能够高速爆发动作电位而能量需求却很低。这种神经元的随机性(stochasticity)也很重要——也就是它们总是产生稍微不同的、随机结果的能力,如同生物神经元一样。


设计这种神经元是为了在仅使用传统芯片能耗的几分之一的情况下更好地处理大量的数据。IBM 苏黎世研究院的科学家 Tomas Tuma(论文第一作者)说,「如今的挑战是接收量级和复杂度都不断增大的数据,并且使用较小的功率和较少的能耗提取里面有用的知识。」

技术:人工相变神经元的构建

闲言少叙,让我们看一下这些相变神经元如何构建的:

stochastic-neurons-diagram.jpg

图解 IBM 的单个相变神经元

stochastic-neurons-firing.jpg

相变神经元的动力。左下展示了 GST 的渐结晶化,当有足够的晶体(蓝色显示)之后,神经元就会放电。

stochastic-neuron-correlations-learning.jpg

在左边你可以看到单个相变神经元的初始行为,中间你能看到在数秒后它有什么行为。


像生物神经元一样,IBM 的人工神经元也有输入(树突)、一个围绕着尖峰发生器(胞体、细胞核)的神经元膜(双层脂膜(lipid bilayer))和一个输出(轴突)。从尖峰发生器(spike generator)到输入之间有一个反向传播连接,可强化一些输入峰值的强度。


这种人工神经元和生物神经元的主要区别是在神经元膜中。在真正的神经元中,里面会是双层脂膜,本质上是充当电阻器和电容器:它抗电导,但在输入树突最后有足够电力的情况下,它将建立足够的电势产生自己的峰值(spike of electricity),然后从轴突流动到其他神经元等等,并继续下去。


在 IBM 的神经元中,神经元膜被替换成了小块的锗-锑-碲( germanium-antimony-tellurium,GeSbTe 或 GST)。GST 刚好是其他可复写光碟的主要原料,也是一个相变材料。这意味着它能以两种不同的相存在(这里是晶体与非晶体),而且能轻松的在两者间进行转换,通常是通过加热进行转换(方式是激光或者电力)。一个相变材料因所在相的不同有相当不同的物理特性:在 GST 中,非晶相是电绝缘体,晶相却导电。


带有这些人工神经元的 GST 方块在非晶相开始了其生命周期。然后,随着输入中尖峰信号(spikes)的到来,GST 开始缓慢结晶。最终,GST 的结晶达到足够程度使其变得导电——于是,电流流过细胞膜并创造一个尖峰信号。在一个任意的不应期(refractory period,指不会响应刺激的休止阶段)后,GST 会被重置回它的非晶相,然后重新开始这个过程。


「随机」是指系统的结果中存在随机量(randomness)。生物神经元因为有各种不同的噪声(离子电导、热、背景噪声),所以是随机的。IBM 说它的人工神经元能表现出类似的随机行为,因为每个 GST 细胞的非晶状态在每次重置之后总是稍有不同,这又会继续导致其结晶过程各不相同。因此,这些工程师从来不明确知道每个神经元会何时放电。


28351591461_1984c54322_o-980x640 (1).jpg

一个满是相变器件(银色方块)的晶圆的照片。要让这样的实际成果工作,必需要探针:这只是一块原型芯片,没有可以连接到电路板的线路/引脚。

IBM 人工神经元的应用

现在有两个主要的发展方向。第一,这种由已被充分理解的材料构成的人工神经元具有很好的性能特点,可以长时间持续(数万亿个开关周期),并且可以在先进的节点上制造/集成(上图所示芯片所采用的工艺是 90 纳米,但研究论文中提到了 14 纳米的可能性)。在这次的研究中提出的这种相变器件已经相当小了——大约 100 纳米见方。


multiple-stochastic-phase-change-neurons.jpg

IBM 的多人工神经元计算机的模样


第二,这些相变神经元是我们到目前为止所创造出的行为最接近生物神经元的人工器件,也会能为我们带来一种高效的、大规模的并行计算机设计——应用神经形态的方法来进行决策和处理传感信息。IBM 表示他们的新成果和正在研发的基于忆阻器(memristor)的突触是相辅相成的。


到目前为止,IBM 已经构建出了 10x10 的神经元交叉阵列,并将这样的 5 个阵列连接起来创建了一个包含多达 500 个神经元的神经元群,然后让它以一种全新的类脑方式处理了宽带信号。(用技术方面的术语来说:这些神经元表现出了和生物神经元涌现出的一样的「群编码(population coding)」,而且这种信号处理规避了奈奎斯特-香农采样定理。)


但我们没有任何理由止步于此。现在是时候将数千个这样的相变神经元集成到单一一块芯片上了——然后是更难的部分:编写一些能够真正利用该芯片的神经形态的软件。


论文:随机相变神经元

BCG-Self-Driving-Vehicles-Robo-Taxis-and-the-Urban-Mobility-Revolution-July-2016_tcm80-212119.jpg

摘要

在理解人脑和构建神经计算系统上,基于棘波神经元(spiking neurons)群的人工神经形态系统是一种不可或缺的工具。要实现可与生物系统相比的尺寸和能量效率,基于电离子和基于相变的忆阻器件一直被看作是突触的纳米级对应物而被研究。但是,神经元的可扩展的实现的进展一直以来都很有限。在这里我们提出了一种可用于创造人工神经元的基于硫族化物的相变材料,该人工神经元的膜电位可由该纳米相变器件的相结构表示。通过利用非晶到结晶相变的这个可逆的物理过程,我们发现突触后电位(postsynaptic potentials)的时间积分可以在纳秒级的时间尺度上实现。此外,我们发现在神经元重置过程中会发生原子结构的熔融-骤冷-诱导生成(melt-quench-induced),所以该重置过程本质上是随机的。我们还在高带宽信号的并行数据流和亚奈奎斯特表示(sub-Nyquist representation)中的时间关联性检测中演示了这些相变神经元及它们的群的使用。


论文地址:Nature

入门IBM神经元无监督学习理论论文
暂无评论
暂无评论~