Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

向完全自主性更进一步,清华、港大全新跨任务自我进化策略让智能体学会「以经验为鉴」

「以史为鉴,可以知兴替。」 人类的进步史,可以看作是一个不断吸取过去经验、不断推进能力边界的自我演化过程。在这个过程中,我们吸取过去失败的教训以纠正错误,借鉴成功的经验以提升效率和效果。这种自我进化的过程在我们的生活中无所不在:从如何总结经验以更好地解决工作中的问题,到如何利用规律更精确地预测天气,我们都在不断地从过去的经验中学习和进化。

成功从过去的经验中提取知识并将其应用于未来的挑战,这是人类进化之路上重要的里程碑。那么在人工智能时代,AI 智能体是否也可以做到同样的事情呢?

近年来,GPT 和 LLaMA 等语言模型展示了他们在解决复杂任务时的惊人能力。然而,他们尽管可以利用工具解决具体任务,但在本质上缺乏对过去成功和失败经历的洞见与汲取。这就像一个只会完成特定任务的机器人,虽然在完成当下任务上表现出色,但面对新的挑战时,却无法调用过去的经验来提供帮助。

针对这一难题,近期来自清华大学、香港大学、人民大学以及面壁智能的联合团队提出了一种全新的智能体自我演化策略:探索 - 固化 - 利用(Investigate-Consolidate-Exploit,ICE)。它旨在通过跨任务的自我进化来提升 AI 智能体的适应性和灵活性。其不仅能提升智能体处理新任务时的效率和效果,还能显著降低对智能体基座模型能力的需求。

这个策略的出现,无疑为智能体的自我进化开启了全新的篇章,也意味着我们离实现智能体的完全自主性又迈进了一步。

图片

  • 论文标题:Investigate-Consolidate-Exploit: A General Strategy for Inter-Task Agent Self-Evolution
  • 论文链接:https://arxiv.org/abs/2401.13996

图片智能体任务间经验迁移以实现自我进化概览图

智能体自我进化的两个方面:规划与执行

当下大部分复杂智能体都可以分成任务规划(Planning)与任务执行(Execution)两大方面。在任务规划上,智能体通过推理将用户需求细化并制定完成目标的详细策略;而在任务执行上,智能体通过工具调用实现与环境的交互,从而完成相应子目标。

为了更好地促进以往经验的重复利用,作者首先将这两方面的进化策略解耦。他们以 XAgent 智能体架构中的树状任务规划结构以及 ReACT 链式工具执行为例,分别介绍了 ICE 策略的具体实现。

图片智能体任务规划的 ICE 自我演化策略

对于任务规划,自我进化依照 ICE 被分为以下三个阶段:

  • 在探索阶段,智能体记录下整个树状任务规划结构,并同时动态检测各个子目标的执行状态;
  • 在固化阶段,智能体首先剔除所有失败的目标结点,之后对于每个成功完成的目标,智能体将以该目标为子树的所有叶子结点依次排开形成一条规划链(Workflow)
  • 在利用阶段,这些规划链将被作为新任务目标分解细化的参考依据,以利用过往的这些成功经验。

图片智能体任务执行的 ICE 自我演化策略

任务执行的自我演化策略依然分为 ICE 三个阶段,其中:

  • 在探索阶段,智能体动态记录每个目标执行的工具调用链,并对工具调用中出现的可能问题进行简单的检测归类;
  • 在固化阶段,工具调用链将被转化为类似自动机的流水线(Pipeline)结构,工具调用顺序与调用之间的转移关系将被固定,同时还会去掉重复调用,增加分支逻辑等等让自动机自动化执行流程更加鲁棒;
  • 在利用阶段,对于相似的目标,智能体将直接自动化执行流水线,从而提升任务完成效率。

XAgent 框架下的自我进化实验

作者在 XAgent 框架中对提出的 ICE 自我演化策略进行了测试,并总结了以下四点发现:

  • ICE 策略能够显著降低模型的调用次数,从而提升效率,减少开销。
  • 存储的经验在 ICE 策略下有着较高的复用率,这证明了 ICE 的有效性。
  • ICE 策略能够提升子任务完成率同时减少规划返修的次数。
  • 通过以往经验的加持,任务执行对模型能力的要求显著下降。具体来看,使用 GPT-3.5 搭配上之前的任务规划与执行经验,效果可以直接媲美 GPT-4。

图片在探索 - 固化进行经验存储后,测试集任务在不同智能体 ICE 策略下的表现

同时,作者还进行了额外的消融实验:在存储经验逐渐增加的情况下,智能体的表现是否越来越好?答案是肯定的。从零经验,半经验,到满经验,基座模型的调用次数逐渐减少,而子任务完成度逐渐提升,同时复用率也有升高。这表明更多的过往经验能够更好地促进智能体执行,实现规模效应。

图片在不同经验存储量下,测试集任务表现的消融实验结果统计

结语

畅想一下,在人人都能够部署智能体的世界中,成功经验的数量会随着智能体个体任务执行不断累积,而用户也可以将这些经验在云端中、社区里进行分享。这些经验将促使智能体不断汲取能力,自我进化,逐渐达到完全自主。我们向这样的时代又迈进了一步。
产业面壁智能ICE
相关数据
清华大学机构

清华大学(Tsinghua University),简称“清华”,由中华人民共和国教育部直属,中央直管副部级建制,位列“211工程”、“985工程”、“世界一流大学和一流学科”,入选“基础学科拔尖学生培养试验计划”、“高等学校创新能力提升计划”、“高等学校学科创新引智计划”,为九校联盟、中国大学校长联谊会、东亚研究型大学协会、亚洲大学联盟、环太平洋大学联盟、清华—剑桥—MIT低碳大学联盟成员,被誉为“红色工程师的摇篮”。 清华大学的前身清华学堂始建于1911年,因水木清华而得名,是清政府设立的留美预备学校,其建校的资金源于1908年美国退还的部分庚子赔款。1912年更名为清华学校。1928年更名为国立清华大学。1937年抗日战争全面爆发后南迁长沙,与北京大学、南开大学组建国立长沙临时大学,1938年迁至昆明改名为国立西南联合大学。1946年迁回清华园。1949年中华人民共和国成立,清华大学进入了新的发展阶段。1952年全国高等学校院系调整后成为多科性工业大学。1978年以来逐步恢复和发展为综合性的研究型大学。

http://www.tsinghua.edu.cn/
相关技术
人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度,其目的是进行资源的优化。常见的规划方法包括经典规划(Classical Planning)、分层任务网络(HTN)和 logistics 规划。

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

进化策略技术

进化策略(Evolutionary Strategies,ES)是由德国的I. Rechenberg和HP. Schwefel于1963年提出的。ES作为一种求解参数优化问题的方法,模仿生物进化原理,假设不论基因发生何种变化,产生的结果(性状)总遵循零均值、某一方差的高斯分布。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

推荐文章
暂无评论
暂无评论~