何静作者

新型大脑启发式学习方法来了,可帮助人工神经网络节省内存和能量

如今,人工智能的发展如火如荼,广泛应用到了图像、自然语言、人机对话等各个领域,对各个产业进行了变革。而在移动应用中,人工智能广泛使用的最大障碍之一是人工神经网络的学习活动需要消耗大量能量,而解决这一问题的一种方法可以从大脑中获得灵感。这是因为大脑具有超级计算能力,而且大脑神经元之间可以通过短的电脉冲或尖峰进行有效传输,极大节省了能量。

基于此思路,奥地利格拉茨工业大学的研究人员 Wolfgang Maass 和 Robert Legenstein 领导的工作组开发了一种称为 e-propagation (简称 e-prop) 的新型机器学习算法。该算法可根据人脑模型进行学习,适应不断变化的需求,其在线学习的特性也极大节省了能量。

该项研究的结果发表在近期的 Nature Communications 杂志上。

大脑的神经网络比人工神经网络更节能

通常我们将大脑中的神经元网络与人工智能的深度神经网络进行类比,然而人工智能的运作原理与人脑完全不同,其中最大的区别是神经元相互交流的方式。深度神经网络的每一层以同步方式生成数字,而大脑通过异步发射的尖峰进行通信。

现代深度学习最早受生物学启发,以神经元的单个计算单元的大型网络之间的连接强度来编码信息。人工神经网络被组织成层,每个神经元通常连接到下一层中的每个神经元。信息以高度同步的方式在层之间传递,对数据进行预测,再与目标值进行比较,计算损失,之后再反向传播,经过多次迭代调整网络,得到准确的预测为止。

而对于大脑来说,生物神经元通过发射尖峰的电脉冲进行交流,每个神经元都按照自己的时间表进行交流。连接并没有整齐地分成几层,并具有许多反馈回路,这意味着神经元的输出通常最终会影响其输入。

大脑这种基于峰值的方法在能源效率方面要比人工神经网络高得多,一般训练最强大的 AI 需要几千瓦的电能,而大脑只需要 20 瓦。因此人们对人工神经网络以及神经形态硬件(一种可以模仿大脑的物理组织和原理的计算机芯片)的兴趣日益浓厚。

既然大脑传递信息能极大节能,那如果将人工神经网络的思想应用到大脑中会发生什么呢?我们可以看到,这里存在一个问题,在大脑中的神经元进行反向传播,相当于将信号在时间和空间上通过神经元之间的突触向后发送,这显然是不可能的。

新型机器学习算法

这促使研究人员在实验神经科学数据中研究已经清楚的两个特征:一个特征是每个神经元以分子标记的形式保留了先前活动的记忆,并随着时间的流逝而逐渐消失;另一个特征是大脑使用像神经递质多巴胺这样的东西提供自上而下的学习信号,该信号调节神经元群的行为。

奥地利的这支团队利用了这两种特征进行最佳组合,创建了一种称为 e-prop 的新学习算法,该算法无需对信号进行时间反向传播。它的学习速度虽然比反向传播慢,但趋近于反向传播的性能。此外,e-prop 还适用于具有更复杂神经元模型的 RSNN。

更重要的是,该方法允许在线学习这意味着,无需立即处理大量数据,而只是在数据可用时就从数据中学习。这极大地减少了所需的内存和能量,这使得在较小的移动设备中进行片上学习变得更加实用。

在大脑中,一般尖峰仅在网络中的信息处理需要它们时才会变得活跃,而对于不那么活跃的网络,学习则是一种特殊挑战,因为需要更长的观察时间才能确定哪些神经元连接可以改善网络性能,因此学习率很低。

而 e-prop 算法的出现解决这一问题。在该方法中,首先将自上而下的信号标记为学习信号,而每个神经元在所谓的资格跟踪信号中记录何时使用连接。利用这两种信号以及突触可塑性提供一个规范模型,由此产生的学习模型表明,许多生物神经元的一个特征方面(即缓慢变化的隐藏变量的存在)为 RSNN 如何学习而没有错误信号向后传播的问题提供了一种可能的解决方案,即神经元导致合格性迹线在更长的时间跨度内向前传播,因此能够与后来出现的瞬时错误信号重合。

除此外,e-prop 理论为实验发现的多巴胺信号多样性对不同神经元群体的功能作用提供了一个假设。以前的基于奖励的学习理论要求将相同的学习信号发送给所有神经元,而对于 e-prop 来说,它是针对特定目标来发送的,因为神经元群的自上而下的学习信号取决于其对网络性能的影响(即损失函数)。

神经形态硬件的驱动力

Maass 和 Legenstein 都相信,e-prop 将推动新一代移动学习计算系统的发展,这些系统无需编程,而是按照人脑模型进行学习,从而根据不断变化的需求进行调整。其目的是确保这样的计算系统不再仅仅通过云来消耗大量能源,而是有效地将学习潜力的大部分整合到移动硬件组件中,从而节约能源。

该小组目前正在与英特尔的研究人员合作,将该方法与该公司的神经形态芯片 Loihi 的下一个版本集成,后者针对尖峰网络进行了优化。他们还与曼彻斯特大学的人脑计划研究人员合作,将 e-prop 应用于神经形态超级计算机 SpiNNaker。

要使这项技术与当今领先的 AI 的能力相提并论,还有很长的路要走。但是,如果它可以帮助我们开始接近我们在生物大脑中看到的效率,那么不久,人工智能无处不在。

资料来源:
https://www.nature.com/articles/s41467-020-17236-y
https://singularityhub-com.cdn.ampproject.org/c/s/singularityhub.com/2020/07/27/a-new-brain-inspired-learning-method-for-ai-saves-memory-and-energy/amp/
https://www.azorobotics.com/News.aspx?newsID=11478
AMiner学术头条
AMiner学术头条

AMiner平台由清华大学计算机系研发,拥有我国完全自主知识产权。系统2006年上线,吸引了全球220个国家/地区800多万独立IP访问,数据下载量230万次,年度访问量1000万,成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

https://www.aminer.cn/
专栏二维码
产业人工神经网络
1
相关数据
英特尔机构

英特尔(NASDAQ: INTC)是全球半导体行业的引领者,以计算和通信技术奠定全球创新基石,塑造以数据为中心的未来。我们通过精尖制造的专长,帮助保护、驱动和连接数十亿设备以及智能互联世界的基础设施 —— 从云、网络到边缘设备以及它们之间的一切,并帮助解决世界上最艰巨的问题和挑战。

http://www.intel.cn/
相关技术
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

神经科学技术

神经科学,又称神经生物学,是专门研究神经系统的结构、功能、发育、演化、遗传学、生物化学、生理学、药理学及病理学的一门科学。对行为及学习的研究都是神经科学的分支。 对人脑研究是个跨领域的范畴,当中涉及分子层面、细胞层面、神经小组、大型神经系统,如视觉神经系统、脑干、脑皮层。

学习率技术

在使用不同优化器(例如随机梯度下降,Adam)神经网络相关训练中,学习速率作为一个超参数控制了权重更新的幅度,以及训练的速度和精度。学习速率太大容易导致目标(代价)函数波动较大从而难以找到最优,而弱学习速率设置太小,则会导致收敛过慢耗时太长

损失函数技术

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学等领域,损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

神经元技术

(人工)神经元是一个类比于生物神经元的数学计算模型,是神经网络的基本组成单元。 对于生物神经网络,每个神经元与其他神经元相连,当它“兴奋”时会向相连的神经元发送化学物质,从而改变这些神经元的电位;神经元的“兴奋”由其电位决定,当它的电位超过一个“阈值”(threshold)便会被激活,亦即“兴奋”。 目前最常见的神经元模型是基于1943年 Warren McCulloch 和 Walter Pitts提出的“M-P 神经元模型”。 在这个模型中,神经元通过带权重的连接接处理来自n个其他神经元的输入信号,其总输入值将与神经元的阈值进行比较,最后通过“激活函数”(activation function)产生神经元的输出。

在线学习技术

在计算机科学中,在线学习是一种机器学习方法。和立即对整个训练数据集进行学习的批处理学习技术相反,在线学习的数据按顺序可用,并在每个步骤使用未来数据更新最佳预测器。

深度神经网络技术

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

云来机构
推荐文章
暂无评论
暂无评论~