编辑 | 萝卜皮
随着科学家不断突破机器学习的界限，训练日益复杂的神经网络模型所需的时间、精力和金钱也在飞速增长。一个称为模拟深度学习的人工智能新领域也许可以以更少的能源达成更快的计算。
可编程电阻器是模拟深度学习的关键组成部分，就像晶体管是数字处理器的核心元件一样。通过在复杂层中重复可编程电阻器阵列，研究人员可以创建一个模拟人工「神经元」和「突触」网络，就像数字神经网络一样执行计算。然后可以训练该网络以实现复杂的 AI 任务，例如图像识别和自然语言处理。
用于模拟深度学习的纳米级离子可编程电阻器比生物细胞小 1000 倍，但目前尚不清楚它们相对于神经元和突触能快多少。离子传输和电荷转移反应速率的缩放分析指向非线性状态下的操作，其中极端电场存在于固体电解质及其界面中。
在这项工作中，麻省理工学院的研究团队生成了在极端电场下具有非常理想的特性的硅兼容纳米级质子可编程电阻器。这种操作方式能够在室温下以节能的方式在纳秒内控制质子的穿梭和嵌入。这些器件表现出对称、线性和可逆的调制特性，具有许多覆盖 20 倍动态范围的电导状态。因此，全固态人工突触的时空能量性能可以大大超过其生物学对应物。
「一旦你有了模拟处理器，你将不再训练其他人都在研究的网络。你将训练具有前所未有的复杂性的网络，这是其他人无法承受的，因此大大优于所有网络。换句话说，这不是一辆更快的汽车，而是一艘宇宙飞船。」论文的第一作者 Murat Onen 说道。
该研究以「Nanosecond protonic programmable resistors for analog deep learning」为题，于 2022 年 7 月 28 日发布在《Science》。
具有可移动的 Na+、K+、Ca2+ 和其他离子的水性离子支持生物信息处理。在神经元和突触中，约 100 mV 的动作电位在毫秒的特征时间尺度上演变，这从根本上限制了动物的思考和反应速度。因为液态水在 >1.23 V 的电压下分解，所以可以理解弱动作电位。
然而，借助用于模拟机器学习的人造固态神经元和突触，研究工作不再受到水电解质稳定性窗口的限制。此外，还可以通过 10^3 的长度尺度收缩因子（从 ~10 mm 到 ~10 nm）制造比生物神经元小得多的设备。
这种可能性提出了一个基本问题，即我们可以以多快的速度训练这种「人工突触」——即基于固态离子的模拟深度学习的最终速度限制是多少？此外，当我们接近这个速度限制时，考虑到耗散过程通常会在每个任务中产生更多的熵，任务完成得越快，训练的能量密集程度如何？
基本的离子学论点似乎需要高电压和小长度尺度——也就是说，一种极端的编程领域方法。固体电解质（SE）层和混合离子电子导体（MIEC）电导通道层内的离子（例如 H+）传输，以及 SE/MIEC 界面处的电荷转移反应，随着施加的电压单调和非线性地缩放。
因此，人工神经元非易失状态的变化速度应该随着电场的增加而增加。然而，固体存在介电击穿限制，以及 SE 的热力学电化学稳定性窗口。因此，编程场应尽可能高，但不能高到永久损坏 SE。
「凭借这一关键见解，以及我们在 MIT.nano 拥有的非常强大的纳米制造技术，我们能够将这些部件组合在一起，并证明这些设备本质上非常快，并且可以在合理的电压下运行。」麻省理工学院电气工程和计算机科学系教授 Jesús A. del Alamo 说，「这项工作确实使这些设备处于现在看起来对未来应用非常有希望的地步。」
图示：纳秒质子可编程电阻器。（来源：论文）
在这项工作中，研究人员证明，当电压为 +10/ −8.5 V 时，这种方法产生的纳米离子器件（5ns）速度非常快，至少是生物突触的10^4倍，在质子传导磷硅酸盐玻璃（PSG）SE 上产生约 1V/nm 的极高电场。
令人惊讶的是，在适当的操作参数下，这种非线性离子电子器件是稳健且可逆的，可在数百万次循环中成功运行。虽然他们三端设备的布局类似于固态电池，但它的运行速度是传统固态电池的 10^10 倍。即使接近设备的极限速度限制，与人类突触产生的热量（每个状态约 10 fJ）相比，每个编程任务产生的热量仍然是有优势的。
「这些离子设备可以实现的另一个令人兴奋的方向是节能硬件，以模拟神经科学中推断的神经回路和突触可塑性规则，超越模拟深度神经网络。」 麻省理工学院核科学与工程系的 Bilge Yildiz 说道。
加速深度学习
模拟深度学习比数字深度学习更快、更节能，主要原因有两个。首先，计算是在内存中进行的，因此大量数据不会从内存来回传输到处理器。其次，模拟处理器也并行执行操作。如果矩阵大小扩大，模拟处理器不需要更多时间来完成新操作，因为所有计算都是同时发生的。
麻省理工学院新模拟处理器技术的关键元素被称为质子可编程电阻器。这些电阻以纳米为单位排列成阵列，就像棋盘一样。
在人脑中，学习是由于神经元之间的连接（称为突触）的增强和减弱而发生的。深度神经网络长期以来一直采用这种策略，通过训练算法对网络权重进行编程。在这种新处理器的情况下，增加和减少质子电阻器的电导可以实现模拟机器学习。
电导由质子的运动控制。为了增加电导，更多的质子被推入电阻器的通道中，而为了降低电导，质子被取出。这是通过使用传导质子但阻挡电子的电解质（类似于电池）来实现的。
为了开发一种超快速且高能效的可编程质子电阻器，研究人员寻找了不同的电解质材料。当其他设备使用有机化合物时，该研究的主要负责人 Murat Onen 专注于无机磷硅玻璃。
PSG 基本上是二氧化硅，这是一种粉状干燥剂材料，装在小袋子里，装在新家具的盒子里，用来去除水分。它也是硅加工中最知名的氧化物。为了制造 PSG，需要在硅中添加一点点磷，使其具有特殊的质子传导特性。
研究人员假设优化的 PSG 在室温下无需水即可具有高质子传导性，这将使其成为该应用的理想固体电解质。最终，他们的结果证明了这个假设的正确性。
图示：电导调制的电压依赖性。（来源：论文）
总之，研究人员探索了全固态离子的极限，以回答电化学人工突触相对于其生物突触可以运行多快的问题。在极端电场条件下，该团队展示了具有出色能效的纳米级质子可编程电阻器的超快调制。
此外，这些器件表现出许多非易失性通道电导状态，在大而理想的动态范围内具有良好的保持性，可以可逆、重复和对称地编程。设备在整个堆栈中的极端电场下运行而没有任何材料降解是实现这种性能的关键突破。
在这些条件下，控制界面处质子传输和电荷转移反应的活化能大大降低，从而使室温下的操作速度提高了六个数量级。除了人工突触之外，这些发现还为需要快速离子运动的领域开辟了可能性，例如微电池、人工光合作用和光物质相互作用。
图示：短脉冲和长脉冲持续时间的调制动力学。（来源：论文）
「这项研究对于未来的创新至关重要。前进的道路仍然充满挑战，但同时也非常令人兴奋。」del Alamo 说。
论文链接：https://www.science.org/doi/10.1126/science.abp8064
相关报道：https://techxplore.com/news/2022-07-hardware-faster-artificial-intelligence-energy.html
