Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

用生物脑机制启发持续学习,让智能系统适者生存,清华朱军等团队研究登Nature子刊封面

在开放、高动态和演化环境中的学习能力是生物智能的核心要素之一,也是人类以及大多数动物在「适者生存」的自然选择过程中形成的重要优势。目前传统机器学习范式是在静态和封闭的数据集上学习到一个模型,并假设其应用环境和之前训练数据的属性相同,因而无法适应动态开放环境的挑战。

针对该问题,持续学习模拟生物智能的学习过程和学习能力,发展新型的机器学习理论和方法,通过持续学习的过程,以期提升智能体对开放、高动态环境的适应能力。但是,目前主流的机器学习模型通过调整网络参数进行学习,当学习任务的数据分布发生变化时,先前学到的网络参数可能被覆盖,从而导致对先前知识的灾难性遗忘(catastrophic forgetting)。

作为人工智能尤其是深度学习发展的重要瓶颈,持续学习近年来在人工智能领域受到广泛关注。大多数持续学习方法都专注于提高对所学知识的记忆稳定性以克服灾难性遗忘,例如在学习新任务时固定执行旧任务的网络参数。然而这些方法通常只能在特定场景中发挥作用,难以像生物智能那样对现实世界的复杂环境和任务具有普遍的适应能力。

因此,能否借鉴生物脑的持续学习机理,发展新型的持续学习方法一直是人工智能领域普遍关注的问题。

针对该问题,近期清华大学计算机系朱军教授 TSAIL 课题组联合生命学院钟毅教授课题组在自然机器智能(Nature Machine Intelligence)期刊上发表了题为「融入神经启发适应性的人工智能方法」(Incorporating neuro-inspired adaptability for continual learning in artificial intelligence)的研究论文,并被选作12月的封面文章。

该研究利用贝叶斯方法深入分析并建模了生物学习记忆系统的适应性机制,显著提升了深度神经网络的持续学习能力,为智能系统在动态开放环境的自适应发展提供了跨学科的深刻见解。

图片

论文链接:https://www.nature.com/articles/s42256-023-00747

引言

随着大规模标注数据的出现和硬件设备计算能力的增强,以深度学习为核心的人工智能计算机视觉自然语言处理、自动驾驶、智能机器人等领域取得了一系列突破性进展。然而,深度学习高度依赖于静态的数据分布,难以对动态变化的数据分布进行持续学习。

从理论层面来看,持续学习的优化目标可以被进一步细化为记忆稳定性、学习可塑性、泛化兼容性等核心要素。为了适应不断变化的环境和任务,智能系统需要在记忆旧知识和学习新知识之间取得适当的平衡,并具备充分的泛化能力以容纳数据分布之间的差异。

图片

图 1. 生物智能启发的持续学习方法示意图 (来源:NMI 原文)

作为天然的模板,人类以及大多数动物天生就是以一种持续不断的方式进行学习的。即使是果蝇等简单的生命体,也进化出了多种适应性机制,以实现有效的持续学习。在果蝇的学习记忆系统中,动态变化的感觉信息可以在多个并行的持续学习模块中被有选择地保护和遗忘,为人工智能提供了重要的启示。

图片

图 2. 记忆的选择性保护与遗忘机制 (来源:NMI 原文)

研究概览

在方法层面,研究人员提出了一种生物启发的记忆调控方法,对所学知识进行有选择地保护和遗忘。在学习新任务时,该方法通过优化参数分布中的旧任务信息来促进记忆稳定性,并引入一定程度的遗忘率以促进学习可塑性。研究人员进一步推导出一种突触扩张-再归一化的优化算法,使神经网络能够在新旧任务的最优解之间做出明确的权衡,并依此分析了遗忘率在降低持续学习的泛化误差方面的作用,从功能目标和实现机制两个层面与生物智能相呼应。

图片

图 3. 动态调节的并行多模块结构 (来源:NMI 原文)

同时,研究人员构建了一种类似果蝇学习记忆系统的并行多模块结构,对应于多个持续学习专家。通过在每个模块中实施所提出的记忆调控机制,对记忆进行有选择地保护和遗忘,从而使各个模块都能分化出适当的任务专长,充分适应不同任务的数据分布差异。研究人员还深入探讨了神经网络的随机性因素与学习规则和遗忘率的相互作用,证明神经系统的适应性机制并非孤立运作,而是高度协同的。

图片

图 4. 多种持续学习基准的实验结果 (来源:NMI 原文)

在多种持续学习基准中,包括视觉任务和强化任务等,所提出的适应性机制能够显著提高深度神经网络的持续学习能力。此外,论文还从遗忘的生物学意义和实现机制等角度,深入探讨了智能系统在持续学习方面的联系,作为一种新的范式推动人工智能和生物智能的协同发展。

图片

图 5. 持续学习的全面综述 (来源:团队的 arxiv 论文 https://arxiv.org/abs/2302.00487)

作者及课题组介绍

清华大学朱军教授和钟毅教授为本论文的共同通讯作者,水木学者博士后王立元和张幸幸助理研究员为本论文的共同第一作者。清华大学的李乾助理研究员、苏航副研究员、以及伦敦大学学院的张鸣天博士是本论文的共同作者。

清华大学 TSAIL 课题组长期致力于贝叶斯机器学习的理论和算法研究。近年来,课题组结合机器学习神经科学的前沿进展,在持续学习领域发表了一系列重要成果。在今年年初完成持续学习领域的综述论文「A comprehensive survey of continual learning: theory, method and application」,系统地梳理了持续学习的基本设置、理论基础、代表性方法和实际应用等方面的研究进展,并提出未来的发展方向,受到了国内外人工智能社区的广泛关注。

另外,针对持续学习领域的普遍技术难点,提出了生成模型的半监督持续学习 (CVPR’21)、具备选择性遗忘的权重正则化方法 (NeurIPS’21)、自适应数据压缩的记忆回放方法 (ICLR’22)、动态并行模块的持续学习架构 (ECCV’22) 等。

近期,关于预训练模型的持续学习理论与方法的研究论文「Hierarchical decomposition of prompt-based continual learning: rethinking obscured sub-optimality」被 NeurIPS’23 评为 spotlight,该论文通过对预训练背景下的持续学习优化目标进行层次化分解,提出了适用于各类微调技术(如 prompt、adapter、LoRA 等)的通用框架,显著提升了预训练模型在动态开放环境下的自适应性。

工程Nature
相关数据
清华大学机构

清华大学(Tsinghua University),简称“清华”,由中华人民共和国教育部直属,中央直管副部级建制,位列“211工程”、“985工程”、“世界一流大学和一流学科”,入选“基础学科拔尖学生培养试验计划”、“高等学校创新能力提升计划”、“高等学校学科创新引智计划”,为九校联盟、中国大学校长联谊会、东亚研究型大学协会、亚洲大学联盟、环太平洋大学联盟、清华—剑桥—MIT低碳大学联盟成员,被誉为“红色工程师的摇篮”。 清华大学的前身清华学堂始建于1911年,因水木清华而得名,是清政府设立的留美预备学校,其建校的资金源于1908年美国退还的部分庚子赔款。1912年更名为清华学校。1928年更名为国立清华大学。1937年抗日战争全面爆发后南迁长沙,与北京大学、南开大学组建国立长沙临时大学,1938年迁至昆明改名为国立西南联合大学。1946年迁回清华园。1949年中华人民共和国成立,清华大学进入了新的发展阶段。1952年全国高等学校院系调整后成为多科性工业大学。1978年以来逐步恢复和发展为综合性的研究型大学。

http://www.tsinghua.edu.cn/
相关技术
朱军人物

朱军,清华大学计算机系长聘副教授、卡内基梅隆大学兼职教授。2001 到 2009 年获清华大学计算机学士和博士学位,之后在卡内基梅隆大学做博士后,2011 年回清华任教。主要从事人工智能基础理论、高效算法及相关应用研究,在国际重要期刊与会议发表学术论文百余篇。担任人工智能顶级杂志 IEEE TPAMI 和 AI 的编委、《自动化学报》编委,担任机器学习国际大会 ICML2014 地区联合主席, ICML (2014-2018)、NIPS (2013, 2015, 2018)、UAI (2014-2018)、IJCAI(2015,2017)、AAAI(2016-2018)等国际会议的领域主席。获 CCF 自然科学一等奖、CCF 青年科学家奖、国家优秀青年基金、中创软件人才奖、北京市优秀青年人才奖等,入选国家「万人计划」青年拔尖人才、MIT TR35 中国区先锋者、IEEE Intelligent Systems 杂志评选的「AI's 10 to Watch」(人工智能青年十杰)、及清华大学 221 基础研究人才计划。

深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

神经科学技术

神经科学,又称神经生物学,是专门研究神经系统的结构、功能、发育、演化、遗传学、生物化学、生理学、药理学及病理学的一门科学。对行为及学习的研究都是神经科学的分支。 对人脑研究是个跨领域的范畴,当中涉及分子层面、细胞层面、神经小组、大型神经系统,如视觉神经系统、脑干、脑皮层。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

数据压缩技术

数据压缩是指在不丢失有用信息的前提下,缩减数据量以减少存储空间,提高其传输、存储和处理效率,或按照一定的算法对数据进行重新组织,减少数据的冗余和存储的空间的一种技术方法。数据压缩包括有损压缩和无损压缩。在计算机科学和信息论中,数据压缩或者源编码是按照特定的编码机制用比未经编码少的数据位元(或者其它信息相关的单位)表示信息的过程。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

正则化技术

当模型的复杂度增大时,训练误差会逐渐减小并趋向于0;而测试误差会先减小,达到最小值后又增大。当选择的模型复杂度过大时,过拟合现象就会发生。这样,在学习时就要防止过拟合。进行最优模型的选择,即选择复杂度适当的模型,以达到使测试误差最小的学习目的。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。 它给观测值和标注数据序列指定一个联合概率分布。 在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。

深度神经网络技术

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

推荐文章
暂无评论
暂无评论~