Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

自动化所研发脉冲动态计算的毫瓦级超低功耗异步感算一体类脑芯片

人脑能够运行非常复杂且庞大的神经网络,总功耗却仅为20瓦,远小于现有的人工智能系统。因此,在算力比拼加速,能耗日益攀升的今日,借鉴人脑的低功耗特性发展新型智能计算系统成为极具潜力的方向。 

近日,中国科学院自动化研究所李国齐、徐波课题组与时识科技公司等单位合作设计了一套能够实现动态计算的算法-软件-硬件协同设计的类脑神经形态SOC(System on Chip,系统级芯片)Speck,展示了类脑神经形态计算在融合高抽象层次大脑机制时的天然优势,相关研究在线发表于《自然·通讯》(Nature Communications)。 

该研究提出了“神经形态动态计算”的概念,通过设计了一种类脑神经形态芯片Speck来实现基于注意力机制的动态计算,在硬件层面做到“没有输入,没有功耗”,在算法层面做到“有输入时,根据输入重要性程度动态调整计算”,从而在典型视觉场景任务功耗可低至0.7毫瓦,进一步挖掘了神经形态计算在性能和能效上的潜力。

Speck是一款异步感算一体类脑神经形态SoC,采用全异步设计,在一块芯片上集成了动态视觉传感器(DVS相机)和类脑神经形态芯片,具有极低的静息功耗(仅为0.42毫瓦)。Speck能够以微秒级的时间分辨率感知视觉信息,以全异步方式设计抛弃了全局时钟控制信号,避免时钟空翻带来的能耗开销,仅在有事件输入时才触发稀疏加法运算。 

针对脉冲神经网络(SNN)在更高层面,比如时间维度中不能根据输入难易度调整其脉冲发放等“动态失衡”问题,该研究基于注意力机制的神经形态脉冲动态计算框架(图2),在多种粒度上实现对不同的输入进行有区分地动态响应;同时Speck软件工具链Sinabs编程框架支持动态计算SNN算法训练和部署。实验结果表明,注意力机制可使得SNN具备动态计算能力,即根据输入难易度调整其脉冲发放模式解决“动态失衡”问题,在显著降低功耗的同时,提升任务性能。在DVS128 Gesture数据集上,融合脉冲动态计算的Speck在任务精度提升9%的同时,平均功耗由9.5毫瓦降低至3.8毫瓦(图3)。 

该工作的实践证实高、低抽象层次大脑机制的融合能进一步激发类脑计算潜力,为未来将大脑进化过程中产生的各种高级神经机制融合至神经形态计算提供积极启发。

相关工作得到了国家杰出青年科学基金、北京市杰出青年基金、国家自然科学基金委重点项目、区域创新联合重点项目等项目的支持。

图1.类脑神经形态SOC系统Speck设计框架

图2.人脑中的注意力机制 

图3.融合了注意力脉冲动态计算的Speck 

论文地址:https://www.nature.com/articles/s41467-024-47811-6

理论人工智能神经网络
相关数据
感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

脉冲神经网络技术

第三代神经网络,脉冲神经网络(Spiking Neural Network,SNN),旨在弥合神经科学和机器学习之间的差距,使用最拟合生物神经元机制的模型来进行计算。脉冲神经网络与目前流行的神经网络和机器学习方法有着根本上的不同。SNN 使用脉冲——这是一种发生在时间点上的离散事件——而非常见的连续值。每个峰值由代表生物过程的微分方程表示出来,其中最重要的是神经元的膜电位。本质上,一旦神经元达到了某一电位,脉冲就会出现,随后达到电位的神经元会被重置。对此,最常见的模型是 Integrate-And-Fire(LIF)模型。此外,SNN 通常是稀疏连接的,并会利用特殊的网络拓扑。

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集(或特征)的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的,这让「神经网络在执行预测任务时可以更多关注输入中的相关部分,更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时,源句子中仅有少部分是相关的;因此,可以应用一个基于内容的注意力机制来根据源句子动态地生成一个(加权的)语境向量(context vector), 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

神经形态计算技术

神经形态工程也称为神经形态计算,是Carver Mead在1980年代后期开发的一个概念,描述了使用包含电子模拟电路来模拟神经系统中存在的神经生物学结构的超大规模集成(VLSI)系统。 近来,神经形态(Neuromorphic)一词已被用于描述模拟、数字、混合模式模拟/数字VLSI以及实现神经系统模型(用于感知,运动控制或多感官集成)的软件系统。

推荐文章
暂无评论
暂无评论~