2021/10/21 16:23

中科院自动化所研究登上Science子刊：自组织反向传播提升网络学习效率

在图像识别任务中，引入 SBP 能让识别准确度稍稍提高，计算成本还能降低 57%。

在人工智能领域，目前人工神经网络中被广泛使用的反向传播算法（Backpropagation，BP）采用全局优化策略，这种端到端的学习方法性能卓越，但学习过程能量消耗大，且缺乏灵活性。中科院脑智卓越中心徐波、蒲慕明联合研究团队近期借助生物网络中发现的介观尺度自组织反向传播机制（Self-backpropagation，SBP），在更具效率和灵活性的类脑局部学习方法方面取得了重要进展。

该研究的论文《Self-backpropagation of synaptic modifications elevates the efficiency of spiking and artificial neural networks》已于 2021 年 10 月 20 日（美东时间）在线发表于《科学》子刊《Science Advances》上。

论文地址：https://www.science.org/doi/10.1126/sciadv.abh0146

借助 SBP 降低计算能耗

SBP 的发现最早可以追溯到 1997 年。蒲慕明团队在 Nature 杂志上撰文发现海马体内的神经元可以将长时程抑制（Long-term depression，LTD）可塑性自组织地传播到三个方向，分别是突触前侧向传播（Presynaptic lateral spread）、突触后侧向传播（Postsynaptic lateral spread）、反向传播（Backpropagation）[1]，这个发现就是自组织反向传播神经可塑性机制（SBP）。

后续研究证实，SBP 现象具有普遍性，不仅覆盖更多的神经区域如视网膜 - 顶盖系统 [2]，还覆盖更多的可塑性类型 [3]，如长时程增强（Long-term potentiation，LTP）。该机制的发生归结于生物神经元内分子调制信号的天然逆向传递，被认为是可能导致生物神经网络高效反馈学习的关键 [4]。

中科院研究团队受到该机制的启发，对 SBP 的反向传播方向（第三个方向）单独构建数学模型（图 1A），重点描述了神经元输出突触的可塑性可以反向传播到输入突触中（图 1B），可塑性的发生可以通过时序依赖突触可塑性（Spike timing-dependent plasticity，STDP），也可以通过人工局部梯度调节。在标准三层脉冲神经网络（Spiking neural network，SNN）的学习过程中，SBP 机制可以自组织地完成前一层网络权重的学习，且可以结合短时突触可塑性（Short-term plasticity，STP）、膜电位平衡（Homeo-static membrane potential）等，形成更强大的 SNN 组合学习方法（图 1C）。

图 1：SBP 在 SNN 中的应用。（A），SBP 可塑性机制。（B），SBP 在 SNN 中的局部反向传播。（C），SBP 和其它可塑性机制在 SNN 中的组合优化。

在一类人工神经网络（Artificial neural network，ANN）如受限玻尔兹曼机网络（Restricted Boltzmann machine，RBM）的学习中（图 2A），SBP 机制也可以替换迭代过程中部分 BP 机制，实现交替的协作优化（图 2B-E）。针对 SNN 和 RBM 的不同，团队又分别设置了两种不同的能量函数约束，来保证训练过程中网络参数学习的平稳性。

图 2：SBP 在 RBM 中的应用。（A），SBP 和 BP 在 RBM 中的组合优化。（B），SBP 和 BP 的交替协作流程。（C），RBM 中的标准 Sleep Phase。（D），含有 SBP 的 Wake Phase。（E），含有 BP 的 Wake Phase。

此外，研究团队针对性地提出了一种统计训练过程中能量消耗的新方法（图 3）。在图片分类（MNIST）、语音识别（NETtalk）、动态手势识别（DvsGesture）等多类标准数据集上，SBP 机制通过组合其它可塑性机制，实现了更低能耗和更高精度的 SNN 局部学习（图 4）。在 ANN-RBM 的学习中，SBP 机制也可以大量的替换 BP 机制实现全局和局部交叉学习，在降低计算能耗同时却不损失精度（图 5）。如图 5C 所示，使用 SBP 进行训练的计算成本比仅使用 BP 进行训练时降低了约 57.1%。

图 3：训练能量消耗的计算方法。（A），平均迭代次数。（B），每次迭代中的算法复杂度。

图 4：在 MNIST、NETtalk、DvsGesture 三个数据集上的性能对比。（A,C,E），SBP 分别取得了基于梯度和基于可塑性方法的 SNN 最优性能。（B,D,F），SBP 分别取得了基于梯度和基于可塑性方法的 SNN 最低能耗。

图 5：SBP 有助于 RBM 提升精度和降低能耗。（A-C），在 MNIST 数据集中，SBP 可以少量降低 RBM 的训练误差（A），可以同时平衡精度和能耗得到最优的 Wake Phase 次数（B），且可以显著降低训练能耗（C）。（D-I），在 NETtalk 和 DvsGesture 数据集中，SBP 得到了和在 MNIST 中类似的结论。

研究人员认为，SBP 是一类介观尺度的特殊生物可塑性机制，该机制同时在 SNN 和 ANN 中获得了广泛的组合优化优势，对进一步深入探索类脑局部计算具有很大的启示性。生物智能计算的本质，很可能就是灵活融合多类微观、介观等可塑性机制的自组织局部学习，结合遗传演化赋予的远程投射网络结构，实现高效的全局优化学习效果。该工作可以进一步引导生物和人工网络的深度融合，最终实现能效比高、可解释性强、灵活度高的新一代人工智能模型。

中国科学院自动化研究所类脑智能研究中心张铁林副研究员为该研究第一作者，徐波研究员为通讯作者，程翔（博士生）、贾顺程（博士生）、蒲慕明研究员和曾毅研究员为共同作者。相关研究工作得到了国家自然科学基金委、先导 B 等项目的资助。

参考文献：

[1] Fitzsimonds, R. M., Song, H. J. & Poo, M. M. Propagation of activity-dependent synaptic depression in simple neural networks. Nature 388, 439-448, (1997).

[2] Du, J. L. & Poo, M. M. Rapid BDNF-induced retrograde synaptic modification in a developing retinotectal system. Nature 429, 878-883, (2004).

[3] Du, J. L., Wei, H. P., Wang, Z. R., Wong, S. T. & Poo, M. M. Long-range retrograde spread of LTP and LTD from optic tectum to retina. Proceedings of the National Academy of Sciences of the United States of America 106, 18890-18896, (2009).

[4] Bi, G. & Poo, M. Synaptic modification by correlated activity: Hebb's postulate revisited. Annual Review of Neuroscience, 24, 139-166, (2001).

理论中科院自动化研究所

相关数据

权重技术

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

来源：Google AI Glossary

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

脉冲神经网络技术

第三代神经网络，脉冲神经网络（Spiking Neural Network，SNN），旨在弥合神经科学和机器学习之间的差距，使用最拟合生物神经元机制的模型来进行计算。脉冲神经网络与目前流行的神经网络和机器学习方法有着根本上的不同。SNN 使用脉冲——这是一种发生在时间点上的离散事件——而非常见的连续值。每个峰值由代表生物过程的微分方程表示出来，其中最重要的是神经元的膜电位。本质上，一旦神经元达到了某一电位，脉冲就会出现，随后达到电位的神经元会被重置。对此，最常见的模型是 Integrate-And-Fire（LIF）模型。此外，SNN 通常是稀疏连接的，并会利用特殊的网络拓扑。

来源：机器之心

生物神经网络技术

生物神经网络（Biological Neural Networks）一般指生物的大脑神经元，细胞，触点等组成的网络，用于产生生物的意识，帮助生物进行思考和行动

反向传播算法技术

反向传播（英语：Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。该方法计算对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。在神经网络上执行梯度下降法的主要算法。该算法会先按前向传播方式计算（并缓存）每个节点的输出值，然后再按反向传播遍历图的方式计算损失函数值相对于每个参数的偏导数。

来源：维基百科 Google ML glossary

神经元技术

（人工）神经元是一个类比于生物神经元的数学计算模型，是神经网络的基本组成单元。对于生物神经网络，每个神经元与其他神经元相连，当它“兴奋”时会向相连的神经元发送化学物质，从而改变这些神经元的电位；神经元的“兴奋”由其电位决定，当它的电位超过一个“阈值”（threshold）便会被激活，亦即“兴奋”。目前最常见的神经元模型是基于1943年 Warren McCulloch 和 Walter Pitts提出的“M-P 神经元模型”。在这个模型中，神经元通过带权重的连接接处理来自n个其他神经元的输入信号，其总输入值将与神经元的阈值进行比较，最后通过“激活函数”（activation function）产生神经元的输出。

来源：Overview of Artificial Neural Networks and its Applications. (2018). medium.com.

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域，它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性，目前的语音识别系统只能在一定的限制条件下获得满意的性能，或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

来源：What is Automatic Speech Recognition?

受限玻尔兹曼机技术

受限玻尔兹曼机（英语：restricted Boltzmann machine, RBM）是一种可通过输入数据集学习概率分布的随机生成神经网络。RBM最初由发明者保罗·斯模棱斯基于1986年命名为簧风琴（Harmonium），但直到杰弗里·辛顿及其合作者在2000年代中叶发明快速学习算法后，受限玻兹曼机才变得知名。受限玻兹曼机在降维、分类、协同过滤、特征学习和主题建模中得到了应用。根据任务的不同，受限玻兹曼机可以使用监督学习或无监督学习的方法进行训练。受限玻兹曼机也可被用于深度学习网络。具体地，深度信念网络可使用多个RBM堆叠而成，并可使用梯度下降法和反向传播算法进行调优。

来源：维基百科