Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

元象XVERSE-65B:国内最大开源模型来了,高性能无条件免费商用

国内此前开源了多个 70 到 130 亿参 数大模型,落地成果涌现,开源生态系统初步建立。随着智能体等任务复杂性与数据量的提升,业界与社区对更「大」模型的需求愈发迫切。

研究表明,参数量越高,高质量训练数据越多,大模型性能才能不断提升。而业界普遍共识是达到 500 到 600 亿参数门槛,大模型才能「智能涌现」在多任务中展现强大性能。但训练此量级模型成本高昂,技术要求较高,目前主要为闭源付费提供。

在国外开源生态中,Llama2-70B 和 Falcon-180B 等标杆模型为有条件开源,设置了月活跃用户数或收入等商用上限,并因缺乏训练数据在中文能力上有明显短板。此外,美国新近颁布的 AI 芯片禁令,或将进一步限制中国大模型产业发展的速度。业界迫切呼吁一个高性能国产大模型,填补生态空白, 为中文应用提供更强大的理解、推理和长文生成能力。

在此背景下,元象 XVERSE 公司宣布开源 650 亿参数高性能通用大模型 XVERSE-65B并且无条件免费商用,业界尚属首次。此外,13B 模型全面升级,提高小模型能力上限。这将让海量中小企业、研究者和 AI 开发者更早一步实现大模型自由,根据其算力、资源限制和具体任务需求,自由使用、修改或蒸馏元象大模型,推动研究与应用的突破创新。

图片

模型地址:https://huggingface.co/xverse/XVERSE-65B

元象 XVERSE 创始人姚星表示:「面对研发时间紧、算力持续短缺等挑战,团队依靠丰富经验,三个月内研发出多款高性能 7B、13B 模型,并最早为社区献上一个大有可为的 65B 模型,为研究、商业及生态创造三重价值。」

具体而言,65B 模型能够有以下积极影响:

  • 研发上,65B 将为新技术、新工具、性能优化到模型安全提供「大杠杆」,让社区快速累积经验,也有助于推动国家科技自主可控的长远目标。

  • 商业上,海量中小企业能以零成本用上「大工具」,可突破局限,推动应用显著创新。元象也能深入了解用例、安全模型部署和潜在机会。

  • 在开发者生态上,社区能充分发挥组织协同优势,推动研发应用的「寒武纪大爆发」。

图片

                                    开源可免费商用大模型图谱

全链条自研,多项技术创新

XVERSE-65B 底座模型在 2.6 万亿 Tokens 的高质量数据上从头训练,上下文窗口扩展至 16K,支持中、英、俄、法等 40 多种语言。

元象坚持高性能定位,显著提升了 65B 三方面能力:

  • 理解、生成、推理和记忆等基础能力,到模型的多样性、创造性和精度表现,从优异到强大;

  • 扩展了工具调用、代码解释、反思修正等能力,为构建智能体奠定技术基础,提高模型实用性;

  • 显著缓解 7B、13B 中常见且可能很严重的幻觉问题,减少大模型幻觉,提高准确性和专业度。

元象大模型系列均为全链条自研,涵盖多项关键技术与研发创新:

1. 复杂分布式系统设计:借鉴团队研发腾讯围棋 AI「绝艺」、王者荣耀 AI「绝悟」等大系统上的丰富经验,自研高效算子、显存优化、并行调度策略、数据-计算-通信重叠、平台与框架协同等关键技术,打造高效稳定的训练系统, 千卡集群峰值算力利用率达 58.5%,位居业界前列。

2. 全面提升性能:65B 训练中采用 FlashAttention2 加速计算, 3D 并行基础上采用虚拟流水线(virtual pipeline)技术,降低较长流水线产生过高气泡率,提升计算推理效率;上下文窗口长度从 8K 逐步提升到 16K,使其不仅能出色完成复杂任务,包括长文理解、长文生成和超长对话,还拓展了工具调用、代码解释及反思修正能力,能更好构建智能体(AI Agent)。

3. 极致提升训练稳定性:因计算量庞大,通信拥塞、芯片过热或计算节点故障成为 65B 训练常态,初期出现过一周最高八次故障的情况。通过集群基础设施运营、资源调度、训练框架和调度平台协同等持续优化,元象打造出高稳定、低中断、强容错的训练系统,将每周有效训练率提升至 98.6%。

此外,在接近 1.6 万亿 Tokens 的模型训练中期,损失函数产生了 NaN 值,可能导致训练中断。通常情况下,业界一般会在分析后删除与之相关的数据区间。而团队根据经验判定这是模型自然演化,选择不删除数据,直接跳过相关参数更新,最终 NaN 值问题解决。后期对参数值、激活值、梯度值等中间状态的进一步分析表明,该问题可能 与模型最后一层 transformer block 激活值的最大值变化有关,并会随最大值的逐渐降低而自行解决。

图片

                                      解决 NaN 值问题研发经验

全面测评 65B 性能媲美 GPT3.5

为确保业界能对元象大模型性能有全面、客观、长期认知,研究人员参考了一系列权威学术测评,制定了涵盖问答、理解、知识、推理、数学、代码等六个维度的 11 项主流权威测评标准,将持续使用并迭代。

XVERSE-65B 在 国内尚无同量级模型可对比,在与国外标杆对比测评中,部分指标超越、综合性能媲美 GPT3.5;全面超越开源标杆 Llama2-70B 和 Falcon-180B ;与 GPT4 仍有差距。          

图片

                                     XVERSE-65B 评测

全面升级的 XVERSE-13B-2,比同尺寸模型增加大量高质量数据,训练数据高达 3.2 万亿, 极大提升了小模型的能力上限。它文理兼修,保持了文科优势,问答提升 18%,理科长足进步, 代码提升 149%、数学提升 198%,在测评中全面超越了 Llama2、Baichuan2 等国内外开源标杆。

图片

                                     升级版 XVERSE-13B-2 测评

开启大模型应用新时代

元象大模型可在 Github、Hugging Face、魔搭 ModelScope 等多平台搜索「XVERSE」下载简单登记后即可无条件免费商用,能满足中小企业、科研机构和个人开发者绝大部分的应用与迭代需求。

元象同时提供模型训练、推理、部署、精调等全方位技术服务,赋能文娱、金融、医疗等各行各业,帮助在智能客服、创意写作、精准推荐等多场景打造行业领先的用户体验。2023 年 10 月,腾讯音乐率先宣布与元象大模型建立战略合作,共同推出 lyraXVERSE 加速大模型、全面升级其音乐助手「AI 小琴」,未来还将持续探索 AI 与 3D 前沿技术,引领音乐娱乐创新方向。

姚星表示:「真实世界的感知智能(3D),与真实世界的认知智能(AI),是探索通用人工智能(AGI)的必由之路,也是元象持续探索前沿科技的动力。XVERSE 开源系列致力于推动大模型国产可替代与持续技术创新,为实体经济、数字经济发展注入强劲动力。我们期待与企业和开发者携手,共同开启大模型应用新时代!」

关于元象

元象 XVERSE 于 2021 年初在深圳成立,是国内领先的 AI 与 3D 技术服务公司,致力于打造 AI 驱动的 3D 内容生产与消费一站式平台,愿景为「定义你的世界」。

图片                                  官方网站:www.XVERSE.cn

元象累计融资金额超过 2 亿美元。元象创始人姚星是前腾讯副总裁和腾讯 AI Lab 创始人、国家科技部新一代人工智能战略咨询委员会成员。

在 3D 与 AI 技术领域,元象拥有深厚积累与完整布局。在 3D 领域,已自主研发出行业引领性的「端云协同」3D 互动技术,开创零门槛(轻)、一站式(快)、高品质(美)全新 3D 体验;在 AI 领域,开源中国最大参数可商用大模型 XVERSE-65B,旨在推动大模型国产可替代与行业应用发展。

产业XVERSE-65B元象 XVERSE
相关数据
寒武纪机构

寒武纪科技是一家AI芯片研发商。致力于打造各类智能云服务器、智能终端以及智能机器人的核心处理器芯片,同时还为用户提供IP授权、芯片服务、智能子卡和智能平台等服务。

www.cambricon.com
感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

调度技术

调度在计算机中是分配工作所需资源的方法。资源可以指虚拟的计算资源,如线程、进程或数据流;也可以指硬件资源,如处理器、网络连接或扩展卡。 进行调度工作的程序叫做调度器。调度器通常的实现使得所有计算资源都处于忙碌状态,允许多位用户有效地同时共享系统资源,或达到指定的服务质量。 see planning for more details

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

损失函数技术

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学等领域,损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

腾讯机构

腾讯,1998年11月诞生于中国深圳,是一家以互联网为基础的科技与文化公司。我们的使命是“通过互联网服务提升人类生活品质”。腾讯秉承着 “一切以用户价值为依归”的经营理念,为亿万网民提供优质的互联网综合服务。 腾讯的战略目标是“连接一切”,我们长期致力于社交平台与数字内容两大核心业务:一方面通过微信与QQ等社交平台,实现人与人、服务及设备的智慧连接;另一方面为数以亿计的用户提供优质的新闻、视频、游戏、音乐、文学、动漫、影业等数字内容产品及相关服务。我们还积极推动金融科技的发展,通过普及移动支付等技术能力,为智慧交通、智慧零售、智慧城市等领域提供有力支持。

http://www.tencent.com/
相关技术
通用人工智能技术

通用人工智能(AGI)是具有一般人类智慧,可以执行人类能够执行的任何智力任务的机器智能。通用人工智能是一些人工智能研究的主要目标,也是科幻小说和未来研究中的共同话题。一些研究人员将通用人工智能称为强AI(strong AI)或者完全AI(full AI),或称机器具有执行通用智能行为(general intelligent action)的能力。与弱AI(weak AI)相比,强AI可以尝试执行全方位的人类认知能力。

围棋技术

围棋是一种策略性棋类,使用格状棋盘及黑白二色棋子进行对弈。起源于中国,中国古时有“弈”、“碁”、“手谈”等多种称谓,属琴棋书画四艺之一。西方称之为“Go”,是源自日语“碁”的发音。

推荐文章
暂无评论
暂无评论~