罗丽作者AI科技评论来源

清华大学施路平:双脑驱动的人工通用智能

本文从类脑计算研究的原因、内容和方法三方面分析了类脑计算、芯片及系统研究所面临的挑战和可能的解决方法。


11月1日上午,在第十九届中国计算语言学大会(CCL2020)上,清华大学类脑计算研究中心主任施路平作了题为《面向人工通用智能的类脑计算》的主题报告,从类脑计算研究的原因、内容和方法三方面分析了类脑计算、芯片及系统研究所面临的挑战和可能的解决方法,重点讨论了如何将脑科学和计算机融合,以双脑驱动的类脑计算推动人工通用智能的研究。观看CCL回放,可登录B站关注“智源研究院”。

施路平教授是清华大学类脑计算研究中心主任,光盘国家工程研究中心主任,以及国际光学工程学会(SPIE)会士。他在2013年加入清华大学创建类脑计算研究中心,提出异构融合类脑计算架构,研制了全球首款异构融合类脑计算“天机芯”,构建人工通用智能研究演示平台-自动行驶自行车,相关结果作为《Nature》封面文章被发表,被评为2019年中国十大科技进展。

为什么做类脑计算

目前,全球数据量大约每两年翻一番(另外一种摩尔定律),而基于冯诺依曼架构的计算机在大数据信息处理时其能耗、速度和带宽均受到影响;另外,硬件的物理微缩,非结构化数据的处理、数据平均寿命短、数据多样性、关联性,数据存储等都对计算机发展带来挑战。

2017年,图灵奖得主 David A. Patterson 和 John L. Hennessy 在 ACM complication 上发表长文称,未来的计算机体系架构将迎来黄金发展十年。改变计算机体系架构,发展新的计算机架构势在必然。除此之外,人工智能的三次浪潮——神经网络,第五代神经网络计算机以及深度学习,都与“脑”紧密相关,类脑计算源于人工智能技术的发展需求。

目前的人工智能虽得到快速发展,但仍面临着诸多问题,比如,在语音输入时,机器无法判断间隔,无法识别口误和口音,这是因为机器并没有真正理解语言。施路平表示,理解不是一个单独、客观的过程,它与主体有关,与人类自身的知识结构和经历有关。因此,需要突破单一结构的智能研究。

人工智能的发展需要满足以下五个条件:1) 充足的数据,2)确定性的问题,3)完备的知识,4)静态,5)单一的系统。否则,发展人工通用智能将成为人工智能突破的最终解决方案。

研究了图灵和冯诺依曼等人的早期著作和文章后,施路平发现,图灵等人提出的人工智能的愿景,都是发展通用智能。他认为,目前的人工智能具有非常好的发展契机,其原因包括:

1. 随着先进精密仪器的发展,人类对脑的理解越来越多,我们似乎到了一个理解脑的关口。

2. 超级计算机的发展为我们提供了更好的仿真模拟环境。

3. 大数据和云计算提供了一个和脑复杂度近似的世界,两者相互促进,共同发展。

4. 新型纳米器件可以制造出和人脑神经元能耗差不多级别的器件。

与AI技术相比,AGI可以处理不确定性问题,小数据、脏数据和缺失数据,可应用于多维系统,无足够应对的知识以及动态系统。从根本上来讲,AI技术更强调发展的能力,而AGI则更加关注如何把智能有机地融合起来,使一种能力的提升能够帮助提升其他能力。

图1:AI和AGI的比较

图灵奖得主Geoffrey Hinton认为,克服目前人工智能发展局限的关键是,搭建“一个连接计算机科学和生物学的桥梁”,该思想与施路平团队所提出的“双脑融合”的思想一致。

电脑在计算能力、存储速度、寿命等很多方面早已超过人类,而人脑具有感知、自适应、创新、认知等能力,计算机和大脑的基本原理正好相反,在原理上、功能上和形式上可以形成一个优势互补的系统,类脑计算是未来计算机的发展重要的领域。施路平认为,脑科学的研究将会为许多科研工作者带来新的科研启发,“是一个非常重要的金矿”。

图2:脑科学的战略意义

类脑计算主要做什么

类脑计算的研究涵盖算法、硬件、芯片和系统等不同层面,是美、英、德等国的重点研究领域。从计算机和互联网发展来看,类脑计算的发展需要芯片、软件工具链、操作系统和应用的协同发展。施路平认为,芯片中的信息如何来承载、存储、计算和利用是类脑芯片的关键,而软件的核心技术问题是软件环境中信息流如何分配、交流、调度和控制。

类脑计算可以表示为两种:Brain-Inspired Computing 和 Brain-Like Computing,前一类是从计算机出发,尽可能借鉴脑科学的基本原理来改变计算机,而另一类是尽可能做到像脑,包括其功能和结构上类脑。从诺贝尔奖和图灵奖获奖者的研究来看,大脑和计算机的研究是分别发展的,而目前的研究需要将两者融合起来发展,形成“双脑驱动”的发展模式。

图3:诺贝尔奖和图灵奖获奖者的研究

2016年,全球出现了三款类脑计算机,包括美国的TrueNorth、德国的BrainScales,以及英国的SpiNNaker。今年2月,清华大学开发设计了中国第一台类脑计算机——天机电子计算机,该研究于人工智能杂志发表。8月,浙江大学发布了一款亿级神经元类脑计算系统。类脑计算的研究目前没有公认的确定方案,是IBM惠普英特尔等的重点研究领域。

图4:近年来类脑计算的研究进展

图5:主要的类脑计算芯片

在最近发表于《自然机器智能》杂志上的一篇论文中,来自麻省理工学(MIT)、维也纳技术大学和奥地利科技学院的研究团队设计了一种模仿生物模型的AI系统,该系统基于类似蛲虫等小动物大脑而开发的。

研究团队为神经元和突触开发了新的数学模型,并结合受大脑启发的神经计算原理和可扩展的深度学习架构,为全栈自动驾驶车辆控制系统针对特定任务的分隔间制造了紧凑的神经控制器。研究表明,仅使用少量的人工神经元就能控制车辆

施路平表示,在脑科学的发展中,类脑的精髓是提供一个“方向感”,指导人类的探索方向。

怎么做类脑计算

类脑计算的研究面临着科学挑战、技术挑战等,而其中最难也是最重要的一个挑战是:多学科深度融合。为促进多学科融合发展,清华大学成立了由七个院系组成清华大学内脑计算研究中心,其研究主要分为三个层次:基础科学、核心技术和应用

图6:清华大学类脑研究架构

清华大学类脑研究主要采用“大脑”和“电脑”双脑驱动的发展战略,以计算机为主体,融合脑原理,从理论、芯片、软件、系统、应用五个方面协同发展,发展方向从一个问题一个解决方案发展到一类问题一个解决方案,并逐渐发展到多类问题一个解决方案,同时和应用紧密结合。

而类脑计算面临的首要问题是,如何在不理解人脑机制的情况下发展类脑计算系统?

施路平认为,即使我们不知道大脑的基本原理,但我们知道每个神经元对外连接数目超过一千,换句话说,是利用空间复杂度,另外,对时间编码可引入时空复杂度。基于此,清华大学提出通用类脑计算框架,通过增加类脑芯片,以实现计算机架构处理结构化信息,类脑芯片处理非结构化信息的任务。这样,即使不了解大脑结构,也可以创造出一个新的计算架架构。

图7:清华大学通用类脑计算架构

新的计算机架构考虑了时空复杂性。计算机驱动的ANN技术能够很好地反映空间复杂度,像脑一样工作的SNN更多反映了时空复杂度,将脑科学驱动和计算机方法结合起来,是ANN和SNN融合的范例。

图8:通用类脑计算的神经网络模型

基于以上研究,清华大学设计构造了全球首款异构融合天机类脑芯片,用3%的代价实现了超过TrueNorth的各项特性,包括密度提高了20%,速度提高了10倍,带宽扩展了100倍,精度可调,扩展性和灵活性更好等。该研究于去年8月在《Nature》上作为封面被发表。

图灵架构是整个计算机的基石,清华大学研究团队提出的类脑计算完备性,用通用近似的思想取代了完备计算的概念,约束的放宽更有利于发展新的计算架构。刚刚过去的10月,清华大学研究团队在《Nature》上发表的文章,重点介绍了类脑计算的完备性、系统的层次性和一个软件工具链。

图9:类脑计算完备性

实际上,这是一个人工通用智能研究平台,研究团队希望用这样的一个系统和环境进行交互,当环境变化的时候,观察系统的变化以及所遵循的基本原理,提出一个环境交互和迭代进化的发展思路,通过利用该系统,构建了一个全网络可扩展的AGI演示平台。

图10:异构全网络可扩展AGI研究演示平台

今年2月,清华大学研究团队发布了国内首台类脑计算机的样机。该样机是一个异构融合的架构,通过在CPU和GPU旁增加内脑计算芯片,由主机处理结构化信息,类脑计算芯片承担异构融合系统,同时来支撑ANN和SNN,以及它们之间异构的建模。

图11:国内首台类脑计算机的样机

目前,清华大学正在研究基于类脑计算的云脑。基于现有服务器搭建云脑,该云脑将具有独立数据库知识图谱和软件工具链,在解决五类基本问题后逐步发展。

图12:类脑计算云脑

最后,施路平表示,目前计算机和人工智能的发展所面临的挑战需要我们发展类脑计算,而双脑融合驱动是类脑计算发展的关键,类脑计算需要理论、芯片、软件、系统和应用协同发展,人工通用智能面向各行各业,双脑驱动的类脑计算可以赋能各行各业。

THU数据派
THU数据派

THU数据派"基于清华,放眼世界",以扎实的理工功底闯荡“数据江湖”。发布全球大数据资讯,定期组织线下活动,分享前沿产业动态。了解清华大数据,敬请关注姐妹号“数据派THU”。

产业施路平清华大学
1
相关数据
英特尔机构

英特尔(NASDAQ: INTC)是全球半导体行业的引领者,以计算和通信技术奠定全球创新基石,塑造以数据为中心的未来。我们通过精尖制造的专长,帮助保护、驱动和连接数十亿设备以及智能互联世界的基础设施 —— 从云、网络到边缘设备以及它们之间的一切,并帮助解决世界上最艰巨的问题和挑战。

http://www.intel.cn/
相关技术
清华大学机构

清华大学(Tsinghua University),简称“清华”,由中华人民共和国教育部直属,中央直管副部级建制,位列“211工程”、“985工程”、“世界一流大学和一流学科”,入选“基础学科拔尖学生培养试验计划”、“高等学校创新能力提升计划”、“高等学校学科创新引智计划”,为九校联盟、中国大学校长联谊会、东亚研究型大学协会、亚洲大学联盟、环太平洋大学联盟、清华—剑桥—MIT低碳大学联盟成员,被誉为“红色工程师的摇篮”。 清华大学的前身清华学堂始建于1911年,因水木清华而得名,是清政府设立的留美预备学校,其建校的资金源于1908年美国退还的部分庚子赔款。1912年更名为清华学校。1928年更名为国立清华大学。1937年抗日战争全面爆发后南迁长沙,与北京大学、南开大学组建国立长沙临时大学,1938年迁至昆明改名为国立西南联合大学。1946年迁回清华园。1949年中华人民共和国成立,清华大学进入了新的发展阶段。1952年全国高等学校院系调整后成为多科性工业大学。1978年以来逐步恢复和发展为综合性的研究型大学。

相关技术
IBM机构

是美国一家跨国科技公司及咨询公司,总部位于纽约州阿蒙克市。IBM主要客户是政府和企业。IBM生产并销售计算机硬件及软件,并且为系统架构和网络托管提供咨询服务。截止2013年,IBM已在全球拥有12个研究实验室和大量的软件开发基地。IBM虽然是一家商业公司,但在材料、化学、物理等科学领域却也有很高的成就,利用这些学术研究为基础,发明很多产品。比较有名的IBM发明的产品包括硬盘、自动柜员机、通用产品代码、SQL、关系数据库管理系统、DRAM及沃森。

https://www.ibm.com/us-en/
相关技术
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

调度技术

调度在计算机中是分配工作所需资源的方法。资源可以指虚拟的计算资源,如线程、进程或数据流;也可以指硬件资源,如处理器、网络连接或扩展卡。 进行调度工作的程序叫做调度器。调度器通常的实现使得所有计算资源都处于忙碌状态,允许多位用户有效地同时共享系统资源,或达到指定的服务质量。 see planning for more details

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

知识图谱技术

知识图谱本质上是语义网络,是一种基于图的数据结构,由节点(Point)和边(Edge)组成。在知识图谱里,每个节点表示现实世界中存在的“实体”,每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲,知识图谱就是把所有不同种类的信息(Heterogeneous Information)连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。 知识图谱这个概念最早由Google提出,主要是用来优化现有的搜索引擎。不同于基于关键词搜索的传统搜索引擎,知识图谱可用来更好地查询复杂的关联信息,从语义层面理解用户意图,改进搜索质量。比如在Google的搜索框里输入Bill Gates的时候,搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月,家庭情况等等。

数据库技术

数据库,简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据运行新增、截取、更新、删除等操作。 所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

云计算技术

云计算(英语:cloud computing),是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机各种终端和其他设备。

操作系统技术

操作系统(英语:operating system,缩写作 OS)是管理计算机硬件与软件资源的计算机程序,同时也是计算机系统的内核与基石。操作系统需要处理如管理与配置内存、决定系统资源供需的优先次序、控制输入与输出设备、操作网络与管理文件系统等基本事务。操作系统也提供一个让用户与系统交互的操作界面。

神经元技术

(人工)神经元是一个类比于生物神经元的数学计算模型,是神经网络的基本组成单元。 对于生物神经网络,每个神经元与其他神经元相连,当它“兴奋”时会向相连的神经元发送化学物质,从而改变这些神经元的电位;神经元的“兴奋”由其电位决定,当它的电位超过一个“阈值”(threshold)便会被激活,亦即“兴奋”。 目前最常见的神经元模型是基于1943年 Warren McCulloch 和 Walter Pitts提出的“M-P 神经元模型”。 在这个模型中,神经元通过带权重的连接接处理来自n个其他神经元的输入信号,其总输入值将与神经元的阈值进行比较,最后通过“激活函数”(activation function)产生神经元的输出。

摩尔定律技术

摩尔定律是由英特尔创始人之一戈登·摩尔提出来的。其内容为:积体电路上可容纳的电晶体数目,约每隔两年便会增加一倍;经常被引用的“18个月”,是由英特尔首席执行官大卫·豪斯所说:预计18个月会将芯片的性能提高一倍。

语言学技术

每种人类语言都是知识和能力的复合体,语言的使用者能够相互交流,表达想法,假设,情感,欲望以及所有其他需要表达的事物。语言学是对这些知识体系各方面的研究:如何构建这样的知识体系,如何获取,如何在消息的制作和理解中使用它,它是如何随时间变化的?语言学家因此关注语言本质的一些特殊问题。比如: 所有人类语言都有哪些共同属性?语言如何不同,系统的差异程度如何,我们能否在差异中找到模式?孩子如何在短时间内获得如此完整的语言知识?语言随时间变化的方式有哪些,语言变化的局限性是什么?当我们产生和理解语言时,认知过程的本质是什么?语言学研究的就是这些最本质的问题。

类脑芯片技术

类脑芯片是一种结构独特,可以仿照人类大脑的信息处理方式进行感知、思考、产生行为。人脑中的突触是神经元之间的连接,具有可塑性,能够随所传递的神经元信号强弱和极性调整传递效率,并在信号消失后保持传递效率。而模仿此类运作模式的类脑芯片便可实现数据并行传送,分布式处理,并能够以低功耗实时处理海量数据。

惠普机构

惠普贸易(上海)有限公司

https://www.hpstore.cn
推荐文章
暂无评论
暂无评论~