Yoshua Bengio等研究者提出以平衡传播来训练端到端模拟神经网络
在论文《Training End-to-End Analog Neural Networks with Equilibrium Propagation》中,来自Rain Neuromorphics人工智能公司和加拿大蒙特利尔大学的研究者(包括Yoshua Bengio)介绍了一种通过随机梯度下降训练端到端模拟神经网络(end-to-end analog neural network)的方法。在这些模拟神经网络中,需要调整的权重由可编程电阻器件(如忆阻器)的电导来实现,同时非线性传递函数(或「激活函数」)则由二极管等非线性组件来实现。研究者用数学方法证明一类模拟神经网络(称为非线性电阻网络)是基于能量的模型,并且由于基尔霍夫定律控制电路,它们具有能量函数。此属性使我们能够使用平衡传播(Equilibrium Propagation)框架来训练它们。每个电导的更新规则是局部的并且仅取决于相应电阻两端的电压降(voltage drop),被证明可以计算损耗函数的梯度。本研究中的数值模拟使用基于SPICE的Spectre模拟框架(SPICE-based Spectre simulation framework)来模拟电路的动力学,并且演示了在MNIST分类任务的训练,其性能与基于等效大小的软件神经网络相当或更好。