Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

机器之心编辑部发布

刚刚,国内的自主智能体OmBot发布了

今年加入 OpenAI 的大牛、前特斯拉 AI 总监 Karpathy 在最近的一次开发者活动上表示:AI 智能体,代表了 AI 的一种未来!

不仅是他,全球 AI 领域的大佬和科技巨头对 AI 智能体的发展都表现出极大兴趣,并寄予厚望。

语言模型的出现,无疑给 AI 智能体的发展带来了全新的想象力,因此尽管在众多 AI 智能体还未达到完全模拟人类智能的程度的情况下,仍然吸引了全球关注,因为它的出现意味着人类在未来实现通用人工智能的目标上迈出的重要一步。

这个在大模型技术与应用之上诞生的全新赛道,抢跑的人意味着能够拥有先发优势。

OmBot自主智能体的诞生

在今天的 2023 世界人工智能大会上,联汇科技发布了基于大模型能力的自主智能体(Auto AI Agent )——OmBot 欧姆智能体,并针对典型场景需求,推出了首批应用。

OmBot 欧姆智能体横空出世的背后,是联汇科技技术团队的一次 “蓄谋已久”。

公司核心团队来自全球计算机殿堂 —— 卡内基梅隆大学,实验室对于自主化智能体的探索从 90 年代就已经开始。2014 年,联汇科技首席科学家赵天成攻读博士时,已经成功研发了全球第一个多模态智能体平台 DialPort,让不同高校的智能体(机器人)在一个平台汇集,并让他们一同协作帮助人类完成各种任务。

这些智能体的专业领域各不相同。

例如有些是帮助订餐厅,有些是帮你分析电影,有些是帮你处理文案等等。随着智能程度的不断增加,DialPort 汇集了超过 100 个智能体能力,为超过 100 篇学术研究项目提供了智能体的基础平台,更是影响了包括 AmazonAlexa 在内的众多目前已经成熟的交互智能体的设计思路。

图片

自主智能体的初步探索

那么,什么是自主智能体呢?

联汇科技给出了明确的回答 —— 智能体是能够感知环境、自主决策并且具备短期与长期记忆的计算机模型,它能够模仿人类大脑工作机制,根据任务目标,主动完成任务。

联汇自主智能体包含了认知、记忆、思考、行动四大核心能力,作为一种自动、自主的智能体,它以最简单的形式中在循环中运行,每次迭代时,它们都会生成自我导向的指令和操作。因此,它不依赖人类来指导命令,具备高度可扩展性。

图片

自主智能体核心能力

认知是智能体获取环境信息的过程。将原始数据转化为计算机可以理解和处理的形式,而人类 80% 的信息输入来自于视觉。

记忆是智能体存储和提取信息的能力。包括短期记忆和长期记忆,前者用于存储临时的信息,后者用于存储更持久的知识和经验,并最终由记忆在决策和行动中发挥价值。

思考是智能体对感知和记忆进行分析、推理和决策的过程。使用各种算法和技术来处理感知数据和记忆信息,以生成合理的决策和行动计划。其中,语言是我们思考的核心逻辑

行动是智能体基于感知、记忆和思考结果采取的具体行为。包括控制机制和执行器,用于将决策转化为实际的物理行动或其他形式的输出。

第一批自主智能体是什么

当自主智能体具备了以上 4 类核心能力后,自然而然面向不同行业、不同需求、不同场景的第一批智能体应运而生 —— 视频小欧、文档小欧和 AIGC 小欧。

是的,联汇首次推出的自主智能体并不止一个,而是一批。

他们能做什么呢?

视频小欧可以成为新零售场景中的智慧店长。通过与摄像头视觉信息结合,利用欧姆大模型智能识别店内发生的一切,形成机器人记忆,并自主决策提示交互信息。自主关注店内值得关注的事件,在必要时进行提示。通过与机器人对话交互,用户可以随时询问店内发生过的一切,协助店铺的管理运营。

图片

视频小欧成为自主思考的智慧店长

文档小欧可以成为个人和企业的学习助理。面对电力、石油、医学等行业专业知识学习成本高、查询困难的痛点,文档问答机器人可以将专业知识有效集成到向量数据库,并存储记忆,形成专业机器人,通过多模态内容理解与内容生成,智能回复用户问题,并给出专业的回答。

图片

文档小欧帮助行业小白解决专业问题

AIGC 小欧可以成为媒体、文化、游戏等行业的剪辑助手。通过 AIGC 实现媒体视频素材的一键成片,针对视频主题,语言模块完成视频内容文案生成,随后拆分为更加细节的视频镜头描述,依托语言理解能力,对素材库视频进行搜索、剪辑和生成,最终大幅降低视频制作门槛。

图片

AIGC 小欧一键成片

现场,联汇科技行嗨发布了基于 OmBot 欧姆智能体与大模型技术的行业级智慧文旅底座,为文旅全行业提供包含元宇宙、AIGC、智慧助手等典型场景快速赋能。

面向行业、企业、个人等不同主体千变万化的需求,OmBot 欧姆智能体将通过高效调教,实现个性化智能体的快速生成与进化,未来的自主智能体,不是一个,也不是一批,而是 “人均” 单位下的应有尽有。

自主智能体会像孙悟空的分身猴毛,有需要就可以快速的实现。

欧姆大模型 3.0 来了!

仔细体验首批自主智能体,不难发现,在应用过程中,认知与思考是自主智能体核心能力的核心。

对于认知与思考的解决方案,联汇依赖的是背后的多模态大模型。

早在 2019 年,联汇科技就与 OpenAI CLIP 模型同期推出了欧姆模型 1.0,实现跨模态搜索,随后的欧姆大模型 2.0,聚焦开放目标识别,实现了从图文检索的到目标理解的跃迁。

目前,联汇科技正式推出欧姆大模型 3.0,直指行业性能最强、真正落地应用的大模型。

这次的欧姆大模型 3.0 实现了哪些飞跃呢?

图片

OmModel V3 正式发布

开放识别方面,欧姆大模型支持对视觉图像、视频进行标签全开放识别。预训练中已经包含了数十亿的高质量图文匹配数据,包含大量的环境背景,目标类型,目标属性与行为特征,叠加全图细粒度级别的理解,图文的语义匹配,图文问答等多任务的训练,使欧姆大模型 3.0 具备了能力涌现的保障。

欧姆大模型 3.0 不再局限于固定的目标类型清单,而是通过语义理解去理解视觉中的任意目标,甚至是描述的方式去定义目标。

图片

开放识别

视觉问答方面,构建了私有的十亿级媒体数据和物联网数据,包括无人机视角,监控视角等,通过多任务训练,欧姆大模型 3.0 将包括自然语言解析、逻辑推理、图像理解以及自然语言生成等 AI 能力进行深度融合。将视觉模型和语言模型进行细粒度的对齐,让其可以理解人类指令,并合理作答。

另外,欧姆大模型可以在针对图片进行问答之后进行多轮对话推理,并扩充视觉之外的信息。

图片

视觉问答

认知推理方面,通过不断提升欧模大模型的内容理解与多模态的语义对齐的能力,结合语言模型的能力,欧模大模型能够做到基于视觉认知的推理,并由此支撑智能体所需要的认知与推理能力。

例如,看到儿童摔倒,模型可以推理要立即检查儿童有没有受伤。看到有小孩在窗边,模型可以提醒要注意儿童的安全。看到瓶子破裂饮料打翻, 模型可以提醒马上清理防止有人滑倒。

在开放识别、视觉问答的基础上,认知推理的能力能够赋能智能体从被动的识别转为主动推理,进行思考与决策,并提出相应的智能解决方案。

图片

推理认知

高效微调方面,针对传统全参数微调消耗大量 GPU 计算与存储资源的情况,联汇从模型训练和模型推理两方面入手,使得欧姆大模型能够好用、易用。

在模型训练上,联汇自主设计 PEFT 羽量微调技术,与标准全参数微调相比,仅微调模型参数的一小部分,训练参数量小于 1%,在大幅降低计算和存储成本的同时,实现媲美全参数微调的性能表现。这样的做法能够真实降低大模型的微调训练门槛,快速适配用户长尾场景的训练需求。

图片

训练参数量小于 1%

在模型推理上,联汇推出针对多模态大模型的推理运行系统 ——Hydra 九头蛇部署架构,通过多卡集群部署蛇身,由多个公用的底座模型组成,而各个算法任务只需要部署羽量级的蛇头模型,实现 MaaS 架构。在推理时,蛇头模型可与任意公用蛇身模型结合产生识别结果,且新增算法任务只需增加羽量级蛇头模型。从而实现了 GPU 集群资源的高效利用,并突破算法任务部署显存资源的上限。

图片

Hydra 九头蛇部署架构

作为成熟的大模型,欧姆大模型拥有良好性能的同时,依旧在不断自我进化。联汇研发团队构建了一套完善的人在环路指令学习进化体系

图片

人在环路指令学习进化体系

对于一个迭代升级后的新版本大模型,首先需要经过质量部的锤炼,通过基于内部量化数据集进行能力验证,再配置并测试各种算法任务,确保模型的升级成功。在模型实际部署上线后,持续跟踪算法任务运行情况,记录并反馈模型潜在缺陷和优化点。

数据部据此对新算法任务、长尾场景和模型识别缺陷等关键点,使用完整的数据回流体系进行针对性的数据采集、数据清洗、和指令学习数据集生成等操作。

在指令学习数据集完成累积周期后,算法组将基于质量组的反馈以及数据组采集的数据对欧姆大模型进行新一版本的迭代优化训练,针对性提高模型在业务算法上的能力,增强泛化能力。

基于由效果评估、升级策略、数据回流、优化升级构成的人在环路指令学习进化体系,欧姆大模型可以对底座模型进行有效的指令学习、迭代升级,从而在现有的算法任务上有更好的表现。

这也意味着每隔几个月,欧姆大模型都会迭代进化得更加强大

完善的工具链和工程化框架

成功的大模型在应用层面落地需要与之配套的工具链与工程化框架。

为了帮助用户更好、更快的使用大模型技术与产品,联汇正式发布欧姆大模型工具软件集合,用 AI - 原生的思路,重新想象 AI 智能体的开发工具,让开发者可以快速构建未来的爆款智能体!

图片

欧姆大模型应用体系

过去几年间,联汇科技构建了完善的针对视觉理解场景的工具链平台。开发者可以利用自然语言灵活的表述识别需求,OmVision Studio、OmVision OS 等平台与系统,提升算法生产效率的同时,有效降低了人工智能技术的应用门槛,为更多的企业与行业赋能。

图片

OmVision 应用体系

今天,联汇科技首次发布针对智能体的 OmBot OS 操作系统。开发者可以基于灵活的模块配置,将多模态大模型、向量数据库人机交互认知架构进行深度融合,为构建基于多模态数据感知、认知、思考与行动的智能体奠定基础。

图片

OmBot OS 架构

OmBot OS 提供自带的长期记忆模块,同时允许开发者用户编写主动思考模块与交互响应模块,支持响应式问答与主动推荐思考的任务场景。同时支持记忆反思模块,模拟人类对于长期记忆的主动压缩与思考过程,从繁杂的原始记忆中抽取出更加高维度的抽象记忆信息,让我们的智能体更加人性化。

OmBot OS 让开发者可以基于灵活的模块配置,将多模态大模型、向量数据库人机交互等技术进行深度融合,为构建基于多模态数据进行感知、认知、思考与行动的智能体奠定了基础。

以更开放的方式拥抱 AGI 时代

完善的产品矩阵与人在环路指令学习进化体系为联汇科技的技术生长打下扎实基础,在此之上的对外开放能力同样令人期待。

联汇首席科学家赵天成博士表示,我们相信在未来,每个人与每一家企业都可以在 AI 的能力加持,具备更好的记忆、认知和决策能力,我们现在的技术方向,就是让机器不断与我们人类对齐,持续进化,最终真正为人类所用。

在这样的过程中,联汇科技始终以用户为中心,不断进化能力、迭代产品、开放生态,推动降低人工智能使用门槛,加速推动普惠 AI 赋能千行百业。

在 AGI 时代来临之际,人工智能的范式变革正在加速,曾经的故事正在成为现实。
入门欧姆大模型3.0
相关数据
Amazon机构

亚马逊(英语:Amazon.com Inc.,NASDAQ:AMZN)是一家总部位于美国西雅图的跨国电子商务企业,业务起始于线上书店,不久之后商品走向多元化。目前是全球最大的互联网线上零售商之一,也是美国《财富》杂志2016年评选的全球最大500家公司的排行榜中的第44名。

https://www.amazon.com/
相关技术
视觉问答技术

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

提升算法技术

Boosting是一种主要用于减少偏差的机器学习集成元算法,也是监督学习的一个变化,是一种将弱学习器转换为强学习器的机器学习算法家族。 Boosting是基于Kearns和Valiant(1988,1989)提出的问题:一组弱学习器能创造一个强大的学习器吗?一个弱的学习器被定义为一个分类器,它与真实的分类只有轻微的相关性(它可以比随机猜测更好地标注示例)。相反,强大的学习器是一个与真实分类任意相关的分类器。

逻辑推理技术

逻辑推理中有三种方式:演绎推理、归纳推理和溯因推理。它包括给定前提、结论和规则

数据库技术

数据库,简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据运行新增、截取、更新、删除等操作。 所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

操作系统技术

操作系统(英语:operating system,缩写作 OS)是管理计算机硬件与软件资源的计算机程序,同时也是计算机系统的内核与基石。操作系统需要处理如管理与配置内存、决定系统资源供需的优先次序、控制输入与输出设备、操作网络与管理文件系统等基本事务。操作系统也提供一个让用户与系统交互的操作界面。

无人机技术

无人机(Uncrewed vehicle、Unmanned vehicle、Drone)或称无人载具是一种无搭载人员的载具。通常使用遥控、导引或自动驾驶来控制。可在科学研究、军事、休闲娱乐用途上使用。

查询技术

一般来说,查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域,查询指的是数据库和信息系统对信息检索的精确要求

自然语言生成技术

自然语言生成(NLG)是自然语言处理的一部分,从知识库或逻辑形式等等机器表述系统去生成自然语言。这种形式表述当作心理表述的模型时,心理语言学家会选用语言产出这个术语。自然语言生成系统可以说是一种将资料转换成自然语言表述的翻译器。不过产生最终语言的方法不同于编译程式,因为自然语言多样的表达。NLG出现已久,但是商业NLG技术直到最近才变得普及。自然语言生成可以视为自然语言理解的反向: 自然语言理解系统须要厘清输入句的意涵,从而产生机器表述语言;自然语言生成系统须要决定如何把概念转化成语言。

人机交互技术

人机交互,是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器,也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流,并进行操作。小如收音机的播放按键,大至飞机上的仪表板、或是发电厂的控制室。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

通用人工智能技术

通用人工智能(AGI)是具有一般人类智慧,可以执行人类能够执行的任何智力任务的机器智能。通用人工智能是一些人工智能研究的主要目标,也是科幻小说和未来研究中的共同话题。一些研究人员将通用人工智能称为强AI(strong AI)或者完全AI(full AI),或称机器具有执行通用智能行为(general intelligent action)的能力。与弱AI(weak AI)相比,强AI可以尝试执行全方位的人类认知能力。

量化技术

深度学习中的量化是指,用低位宽数字的神经网络近似使用了浮点数的神经网络的过程。

推荐文章
暂无评论
暂无评论~