2024/08/14 14:27

同时操控手机和电脑，100项任务，跨系统智能体评测基准有了

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

跨平台的多模态智能体基准测试 CRAB 由 CAMEL AI 社区主导，由来自牛津、斯坦福、哈佛、KAUST、Eigent AI 等机构的研究人员合作开发。CAMEL AI 社区开发的 CAMEL 框架是最早基于大语言模型的多智能体开源项目，因此社区成员多为在智能体领域有丰富科研和实践经验的研究者和工程师。

AI 智能体（Agent）是当下大型语言模型社区中最为吸引人的研究方向之一，用户只需要提出自己的需求，智能体框架便可以调度多个 LLMs 并支持多智能体（Multi-agents）以协作或竞争的方式来完成用户给定的任务。

目前智能体已越来越多地与大型多模态模型 (MLM) 相结合，支持在各种操作系统（包括网页、桌面电脑和智能手机）的图形用户界面（ GUI）环境中执行任务。但是目前针对这种智能体性能评估的基准（benchmarks）仍然存在很多局限性，例如构建任务和测试环境的复杂性，评价指标的单一性等。

针对这些问题，本文提出了一个全新的跨环境智能体基准测试框架 CRAB。CRAB 采用了一种基于图的细粒度评估方法，并提供了高效的任务和评估器构建工具。本文的研究团队还基于 CRAB 框架开发了一个跨平台的测试数据集 CRAB Benchmark-v0，其中涵盖了可以在 PC 和智能手机环境中执行的 100 个任务，其中既包含传统的单平台任务，还包含了必须同时操作多个设备才能完成的复杂跨平台任务。

论文题目：CRAB: Cross-environment Agent Benchmark for Multimodal Language Model Agents
论文地址：https://arxiv.org/abs/2407.01511
代码仓库：https://github.com/camel-ai/crab

作者选取了当前较为流行的四个多模态模型进行了初步实验，实验结果表明，使用 GPT-4o 作为推理引擎的单智能体结构拥有最高的测试点完成率 35.26%。

引言

作为全新的智能体评估基准框架，CRAB（Cross-environment Agent Benchmark）主要用于评估基于多模态语言模型（MLMs）的智能体在跨环境任务中的表现。CRAB 可以模拟真实世界中人类用户同时使用多个设备完成复杂任务的场景，如 Demo 所示，CRAB 可以用来评估智能体同时操纵一个 Ubuntu 桌面系统和一个 Android 手机系统完成发送信息的过程。

想象一下，如果智能体具备根据人类指令同时精确操作电脑和手机的能力，很多繁杂的软件操作就可以由智能体来完成，从而提高整体的工作效率。为了达成这个目标，我们需要为智能体构建更加全面和真实的跨平台测试环境，特别是需要支持同时操作多个设备并且能提供足够的评估反馈机制。本文的 CRAB 框架尝试解决以下几个实际问题：

跨环境任务评估：现有的基准测试通常只关注单一环境（如网页、Android 或桌面操作系统）[1][2][3][4]，而忽视了真实世界中跨设备协作场景的复杂性。CRAB 框架支持将一个设备或应用的交互封装为一个环境，通过对多环境任务的支持，提供给智能体更丰富的操作空间，也更贴近实际应用场景。
细粒度评估方法：传统的评估方法要么只关注最终目标的完成情况（目标导向），要么严格比对操作轨迹（轨迹导向）[1][2][3]。这两种方法都存在局限性，无法全面反映智能体的表现。CRAB 提出了基于图的评估方法，既能提供细粒度的评估指标，又能适应多种有效的任务完成路径。
任务构建复杂性：随着任务复杂度的增加，手动构建任务和评估器变得越来越困难。CRAB 提出了一种基于子任务组合的方法，简化了跨环境任务的构建过程。
智能体系统结构评估：本文还探讨了不同智能体系统结构（单智能体、基于功能分工的多智能体、基于环境分工的多智能体）对任务完成效果的影响，为设计更高效的智能体系统提供了实证依据。

上表展示了本文提出的 CRAB 框架与现有其他智能体基准框架的对比，相比其他基准，CRAB 可以同时支持电脑和手机等跨平台的操作环境，可以模拟更加真实的使用场景。

对于 CRAB，一众网友给出了很高的评价。

有人表示，AGI 已经达成，因为有大语言模型（指 CRAB）已经学会了如何退出 Vim。

"Can you exit Vim?" 这个问题常常是一个编程或技术社区的玩笑，因为 Vim 对新手来说可能很难退出，尤其是当他们不熟悉 Vim 的操作模式时。（在此贡献一张表情包）

有人说很难相信一个智能体可以完成 “查看日历，打开 Vim，进入插入模式，输入事件列表，退出插入模式，并使用 :wq 保存” 这一系列任务。

也有网友总结说下个下一代机器人流程自动化（RPA）将更像是 “请帮我完成下列任务”，而不需要记录每一个步骤，然后在几天内运行时崩溃。

也有人提到了 CRAB 中的图评估器（Graph Evaluator）用于处理智能体在环境中的状态是一种非常智能的方式。

甚至有人夸赞道 CRAB 是 AI PC 的未来，认为这是 LLM 与 PC 和移动设备的完美结合，“它是一种类似 RabbitOS 的 AI，使现有的 PC 和移动设备具备 AI 功能。CRAB 的基准测试允许在现实世界中测试多模态语言模型代理的有效性和实用性。”

定义

任务定义

CRAB 框架将数字设备（如桌面电脑或智能手机）表示为一个具体的环境。每个环境被定义为一个无奖励的部分可观察马尔可夫决策过程（POMDP），可以使用元组表示，其中为状态空间，为动作空间，是转移函数，是观察空间。

而对于跨环境任务，可以定义一个环境集合其中 n 是环境数量，每个环境又可以表示为。

基于以上，作者将一个具体的跨环境任务表示为元组，其中 M 是环境集合，I 是以自然语言指令形式给出的任务目标，R 是任务的奖励函数。参与任务的智能体系统可以被建模为一个策略。

这表示智能体在接收到来自环境的观察和动作历史 H 时，在环境 m 中采取动作 a 的概率。

图任务分解（Graph of Decomposed Tasks, GDT）

将复杂任务分解为几个更简单的子任务是 LLMs 解决实际问题时非常有效的技巧 [5][6]，本文将这一概念引入到了智能体基准测试中，具体来说，本文引入了一种分解任务图（Graph of Decomposed Tasks，GDT），如下图所示，它可以将一个复杂任务表示为一个有向无环图（DAG）的结构。

GDT 中的每个节点可以代表一个子任务 (m,i,r)，其中 m 为子任务执行的环境，i 为自然语言指令，r 是奖励函数，用于评估环境 m 的状态并输出布尔值，判断子任务是否完成。GDT 中的边表示子任务之间的顺序关系。

CRAB 框架

跨环境智能体交互

CRAB 首次引入了跨环境任务的概念，将多个环境（如智能手机和桌面电脑）组合成一个环境集合，使智能体能够在多个设备之间协调操作完成复杂任务。

在 CRAB 框架中使用基于环境分工的多智能体系统的运行流程如上图所示。工作流程通过一个循环进行，首先通过主智能体观察环境，并对子智能体指定计划，然后所有的子智能体在各自的环境中执行操作。随后由一个图评估器（Graph Evaluator）来监视环境中各个子任务的状态，并在整个工作流程中不断更新任务的完成情况。这种评估方式可以贴近真实场景，以考验智能体的推理能力，这要求智能体能够处理复杂的消息传递，并且需要深入理解现实世界的情况。

图评估器（Graph Evaluator）

CRAB 内置的图评估器同时兼顾了目标导向和轨迹导向评估的优点，其首先将复杂任务分解为多个子任务，形成一个有向无环图结构。随后定义了一种节点激活机制，即图中的节点（子任务）需要根据前置任务的完成情况逐步激活，确保任务的顺序执行。其中每个节点都关联了一个验证函数，用来检查环境中的关键中间状态。相比之前的评估基准，CRAB 图评估器创新性地引入了一系列新的评价指标：

完成率（Completion Ratio, CR）：完成的子任务节点数量与总节点数量的比率，CR = C / N。
执行效率（Execution Efficiency, EE）：完成率与执行的动作数量的比值，EE = CR / A，A 为指定的动作数。
成本效率（Cost Efficiency, CE）：完成率与使用的模型 token 数量的比值，CE = CR / T，T 为使用的模型 token 数量。

这些指标为智能体基准提供了更细粒度和更多维度的评估侧重点。

CRAB Benchmark-v0

基准构建细节

基于提出的 CRAB 框架，本文构建了一个具体的基准测试集 CRAB Benchmark-v0 用于社区进一步开展研究。CRAB Benchmark-v0 同时支持 Android 手机和 Ubuntu Linux 桌面电脑两个环境。并且为 Ubuntu 和 Android 定义了不同的动作集，用来模拟真实生活中的常见交互。其观察空间由两种环境的系统界面构成，并且使用屏幕截图形式获取环境状态。为了方便智能体在 GUI 中操作，作者使用 GroundingDINO [7] 来定位可交互图标，使用 EasyOCR 检测和标注可交互文本，为每个检测项分配一个 ID，方便后续在操作空间内引用。

我们以一个具体任务举例，例如在 Ubuntu 系统上完成如下任务：创建一个新目录 “/home/crab/assets_copy”，并将所有具有指定 “txt” 扩展名的文件从 “/home/crab/assets” 复制到目录 “/home/crab/assets_copy”。

该任务需要执行多步操作才能完成，下图展示了当使用 GPT-4 Turbo 作为推理模型并采用单智能体结构时的实验细节。智能体首先使用 search_application 命令查找终端并打开。

然后使用 Linux 命令 “mkdir -p /home/crab/assets_copy” 创建新的目标目录。

在创建好目标目录后，智能体直接在终端中执行了拷贝命令：

“cp /home/crab/assets/*.txt/home/crab/assets_copy” 来完成任务，整个流程行云流水，没有任何失误。

实验效果

作者随后在 CRAB Benchmark-v0 进行了 baseline 实验，智能体的核心是后端的多模态语言模型，其用来提供自然语言和图像理解、基本设备知识、任务规划和逻辑推理能力，需要支持多模态混合输入，可以同时处理多轮对话，因而作者选取了 GPT-4o (gpt-4o-2024-05-13)、GPT-4 Turbo (gpt-4-turbo-2024-04-09)、Gemini 1.5 Pro (2024 年 5 月版本) 和 Claude 3 Opus (claude-3-opus-20240229) 作为 baseline 模型。

实验结果如上表所示，其中 GPT-4o 和 GPT-4 Turbo 模型在测试模型中实现了最高的平均测试点完成率（CR）。在执行效率（EE）和成本效率（CE）方面， GPT-4 系列也相比 Gemini 和 Claude 系列模型更加优秀。

总结

本文介绍了一种全新的跨环境多智能体评估基准 CRAB，CRAB 框架通过引入跨环境任务、图评估器和基于子任务组合的任务构建方法，为自主智能体的评估提供了一个更加全面、灵活和贴近实际的基准测试平台。相比先前的智能体基准，CRAB 减少了任务步骤中的手动工作量，大大提高了基准构建效率。基于 CRAB，本文提出了 Crab Benchmark-v0，同时支持智能体在 Ubuntu 和 Android 系统上执行多种复杂的跨环境任务，这一基准的提出，不仅可以推动自主智能体评价体系的发展，也为未来设计更加高效的智能体系统提供全新灵感。

^{参考：}

^{[1] Shuyan Zhou et al. WebArena: A Realistic Web Environment for Building Autonomous Agents. Oct.24, 2023. URL: http://arxiv.org/abs/2307.13854. preprint.}

^{[2] Chi Zhang et al. AppAgent: Multimodal Agents as SmartphoneUsers. Dec. 21, 2023. URL: http://arxiv.org/abs/2312.13771. preprint.}

^{[3] Shunyu Yao et al. “Webshop: Towards scalable real-world web interaction with grounded language agents”. In: Advances in Neural Information Processing Systems 35 (2022), pp. 20744–20757.}

^{[4] Tianbao Xie et al. OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments. Apr. 11, 2024. URL: http://arxiv.org/abs/2404.07972. preprint.}

^{[5] Lin, Fangru, et al. "Graph-enhanced Large Language Modelsin Asynchronous Plan Reasoning." arXiv preprint arXiv:2402.02805 (2024).}

^{[6] Tushar Khot et al. “Decomposed Prompting: A Modular Approach for Solving Complex Tasks”. In: The Eleventh International Conference on Learning Representations. 2023. URL: https://openreview.net/forum?id=_nGgzQjzaRy.}

^{[7] Shilong Liu et al. Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection. arXiv.org. Mar. 9, 2023.}

产业CRAB Benchmark-v0CRAB

相关数据

调度技术

调度在计算机中是分配工作所需资源的方法。资源可以指虚拟的计算资源，如线程、进程或数据流；也可以指硬件资源，如处理器、网络连接或扩展卡。进行调度工作的程序叫做调度器。调度器通常的实现使得所有计算资源都处于忙碌状态，允许多位用户有效地同时共享系统资源，或达到指定的服务质量。 see planning for more details

来源：维基百科

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary

有向无环图技术

在图论中，如果一个有向图从任意顶点出发无法经过若干条边回到该点，则这个图是一个有向无环图（DAG图）。因为有向图中一个点经过两种路线到达另一个点未必形成环，因此有向无环图未必能转化成树，但任何有向树均为有向无环图。

来源：维基百科

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度，其目的是进行资源的优化。常见的规划方法包括经典规划（Classical Planning）、分层任务网络（HTN）和 logistics 规划。

来源：机器之心

逻辑推理技术

逻辑推理中有三种方式：演绎推理、归纳推理和溯因推理。它包括给定前提、结论和规则

来源：Wikipedia

逻辑技术

人工智能领域用逻辑来理解智能推理问题；它可以提供用于分析编程语言的技术，也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑（Propositional Logic ）以及一阶逻辑（FOL）等谓词逻辑。

来源：机器之心

操作系统技术

操作系统（英语：operating system，缩写作 OS）是管理计算机硬件与软件资源的计算机程序，同时也是计算机系统的内核与基石。操作系统需要处理如管理与配置内存、决定系统资源供需的优先次序、控制输入与输出设备、操作网络与管理文件系统等基本事务。操作系统也提供一个让用户与系统交互的操作界面。

来源：百度百科

多智能体系统技术

一个多智能体系统，是由一个在一个环境中交互的多个智能体组成的计算系统。多智能体系统也能被用在解决分离的智能体以及单层系统难以解决的问题。智能可以由一些方法，函数，过程，搜索算法或加强学习来实现。尽管存在相当大的重叠，然而一个多智能体系统并不总是一个基于智能体的模型表现一致。

来源：维基百科

推理引擎技术

推理机是实施问题求解的核心执行机构，常见于专家系统。它是对知识进行解释的程序，根据知识的语义，对按一定策略找到的知识进行解释执行，并把结果记录到动态库的适当空间中去。

来源：维基百科

环境智能技术

部分可观察马尔可夫决策过程技术

一种通用化的马尔可夫决策过程。POMDP模拟代理人决策程序是假设系统动态由MDP决定，但是代理人无法直接观察目前的状态。相反的，它必须要根据模型的全域与部分区域观察结果来推断状态的分布。因为POMDP架构的通用程度足以模拟不同的真实世界的连续过程，应用于机器人导航问题、机械维护和不定性规划。架构最早由研究机构所建立，随后人工智能与自动规划社群继续发展。

来源：维基百科

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。由于字词与句子都是任意组合的长度，因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题)，也使得在语料库中估算字串的机率变得很困难，这也是要使用近似的平滑n元语法(N-gram)模型之原因。

来源：维基百科

机器之心机构

机器之心，成立于2014年，是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系，为各类人工智能从业者提供综合信息服务和产业服务。

https://www.jiqizhixin.com/