Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

机器之心编辑部发布

刷新50多个NLP任务基准,并登顶SuperGLUE全球榜首,百度ERNIE 3.0知识增强大模型显威力

百度 ERNIE 3.0 不仅一举刷新 54 个中文 NLP 任务基准,而且进一步挖掘大规模预训练模型的潜力,首次在百亿级预训练模型中引入大规模知识图谱。

近日,百度 ERNIE 升级到 3.0,重磅发布知识增强的百亿参数大模型。该模型除了从海量文本数据中学习词汇、结构、语义等知识外,还从大规模知识图谱中学习。

ERNIE 3.0 一举刷新 54 个中文 NLP 任务基准,其英文模型在国际权威的复杂语言理解任务评测 SuperGLUE 上,以超越人类水平 0.8 个百分点的成绩登顶全球榜首。ERNIE 3.0 同时具备超强语言理解能力以及写小说、歌词、诗歌、对联等文学创作能力。

目前 ERNIE 3.0 已在百度文心官网开放,用户可体验 ERNIE 3.0 创作的不同形式的内容,实现更多有创意、有价值的应用。
  • 论文链接:https://arxiv.org/pdf/2107.02137.pdf

  • Demo 链接:https://wenxin.baidu.com/wenxin/ernie

ERNIE 3.0 知识增强大模型:百亿级预训练中首次引入大规模知识

近一年来,以 GPT-3、Switch-Transformer 为代表的大规模预训练模型,带来了人工智能领域新的突破,由于其强大的通用性和卓越的迁移能力,掀起了预训练模型往大规模参数化发展的浪潮。然而,现有的大规模预训练模型,主要依赖纯文本学习,缺乏大规模知识指导学习,模型能力存在局限。

ERNIE 3.0 的研究者进一步挖掘大规模预训练模型的潜力,基于深度学习平台飞桨的分布式训练技术优势,首次在百亿级预训练模型中引入大规模知识图谱,提出了海量无监督文本与大规模知识图谱的平行预训练方法(Universal Knowledge-Text Prediction)。通过将大规模知识图谱的实体关系与大规模文本数据同时输入到预训练模型中进行联合掩码训练,促进了结构化知识和无结构文本之间的信息共享,大幅提升了模型对于知识的记忆和推理能力。

ERNIE 3.0 中的文本与知识平行预训练。

ERNIE 3.0 统一预训练框架:同时具备语言理解和语言生成能力

百度研究者提出了将通用语义表示与任务语义表示相结合的模型框架,该框架融合自编码和自回归等不同的任务语义表示网络,既可同时处理语言理解和语言生成任务,还能做无标注数据的零样本学习(Zero-shot Learning)和有标注数据的微调训练(Fine-tuning)。此外,ERNIE 3.0 在持续学习框架的基础上,增加了任务语义表示网络,加速模型进化。

ERNIE 3.0 框架。

ERNIE3.0 框架分为两层。第一层是通用语义表示网络,该网络学习数据中的基础和通用的知识。第二层是任务语义表示网络,该网络基于通用语义表示,学习任务相关的知识。不同任务语义表示网络可通过自编码结构或者自回归结构实现,并通过底层共享实现交互和增强。在学习过程中,任务语义表示网络只学习对应类别的预训练任务,而通用语义表示网络会学习所有的预训练任务。

ERNIE 3.0 效果:一举刷新 54 个中文 NLP 任务基准

百度研究者在 54 个中文自然语言处理公开数据集,包含情感分析、观点抽取、阅读理解、文本摘要、对话生成、数学运算等任务上,全面验证评估了 ERNIE 3.0 的效果和通用能力。ERNIE 3.0 均取得了当前最好效果,其中,在 20 多个不同类型的自然语言处理任务上取得了 3 % 以上的显著提升。

ERNIE 3.0 在 Fine-tuning 范式下的任务效果。

在实际应用中,往往缺乏标注数据,因此,百度研究者也测试了 ERNIE 3.0 在 Zero-shot Learning(零样本学习)范式下的效果,ERNIE 3.0 在大多数任务上相对已有的中文大模型也取得了显著的效果提升。

ERNIE 3.0 在零样本学习下的效果。

ERNIE 3.0 英文模型登顶 SuperGLUE:超越人类水平 0.8 个百分点

除了中文模型的惊艳效果,ERNIE 3.0 英文模型在国际权威的复杂语言理解任务评测 SuperGLUE 上超越谷歌的 T5、OpenAI 的 GPT-3 等大模型,以超越人类水平 0.8 个百分点的成绩登顶全球榜首。

SuperGLUE 是由谷歌 DeepMind、Facebook 研究院、纽约大学、华盛顿大学等多个权威机构联合发布的复杂语言理解任务评测,旨在提升常识推理、因果判断、上下文消歧、指代消解等复杂任务的效果。

ERNIE 3.0 登顶 SuperGLUE 全球榜首。
    
事实上,早在 2019 年 12 月,ERNIE 就曾以 9 个任务平均得分首次突破 90 大关的成绩登顶 GLUE 全球榜首。这次 ERNIE 3.0 在 SuperGLUE 评测上夺冠,再次证明了 ERNIE 的强大实力。
ERNIE 登顶 GLUE 全球榜首。

写小说、写歌词、写古文:ERNIE 3.0 文学创作与知识掌握能力显著提升

ERNIE 3.0,在文学创作能力方面也有了显著提升,可以通过对海量文本与知识的学习,无需专门训练,即可进行文学创作。

ERNIE 3.0 对知识的掌握,同样大幅提升,通过知识图谱对模型进行增强,让模型具备更强的知识记忆和推理能力。

目前这些能力已经开放体验,大家可以点击(Demo 地址)亲身感受 ERNIE 3.0 的技术魅力。

文心 ERNIE 自 2019 年诞生至今,在语言理解、文本生成、跨模态语义理解等领域取得一系列技术突破,在公开权威语义评测中斩获了十余项世界冠军。2020 年,文心荣获世界人工智能大会(WAIC)最高奖项 SAIL 奖。

目前,文心 ERNIE 已大规模应用于搜索、信息流、智能音箱等互联网产品,并通过百度智能云输出到工业、能源、金融、通信、媒体、教育等各行各业,助力产业智能化升级。本次发布的 ERNIE 3.0 也将进一步提升应用效果,创造更大的经济与社会价值。
入门大规模知识图谱知识增强大模型百度ERNIE 3.0
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

零样本学习技术

从仅仅一个或一小撮样本中学习一个新的概念,而普通的机器学习标准算法通常需要几十或几百个表现类似的样本。

百度机构

百度是全球领先的人工智能平台型公司。百度大脑是中国领先的“软硬一体AI大生产平台”,是百度AI的集大成,对外全方位输出超过270多项核心AI能力,服务230万开发者。飞桨是中国首个全面开源开放、功能完备的产业级深度学习平台,是中国自主研发的“智能时代的操作系统”。百度智能云是百度AI To B 业务的重要承载者和输出者,是产业智能化领导者。小度助手是中国领先的对话式人工智能操作系统,拥有中国市场最繁荣、开放的对话式人工智能生态,今年6月,小度助手语音交互次数超过58亿次。作为全球领先的、最活跃的自动驾驶开放平台,百度Apollo代表中国最强自动驾驶实力,被知名研究公司Navigant Research列为全球四大自动驾驶领域领导者之一。目前聚焦在以自动驾驶、汽车智能化、智能交通为核心的三大赛道。自动驾驶技术方面,超过十项中国第一,实力领跑行业。智能交通方面,百度 “ACE交通引擎”是全球首个车路行融合的全栈式智能交通解决方案。

https://www.baidu.com/
对话生成技术

对话生成是能经由对话或文字进行交谈的计算机程序任务。能够模拟人类对话,通常以通过图灵测试为评估标准。

推荐文章
暂无评论
暂无评论~