Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

百度文心大模型:自主创新打造“AI底座”, 服务超6万开发者

深度学习驱动的人工智能,正推动新一轮科技革命和产业变革。随着数据井喷、算法进步和算力突破,效果好、泛化能力强、通用性强的预训练大模型(以下简称“大模型”),成为人工智能发展的关键方向与人工智能产业应用的基础底座。

4月16日,2021百度认知AI创意赛“AI创意派”决赛正式举行,这是业内首次将先进的AI大模型能力开放给公众使用,实现了大模型在激发创意、落地应用上的突破。百度集团副总裁吴甜出席并围绕大模型行业趋势、产业价值、落地成果,分享了百度文心大模型的进展。

百度集团副总裁吴甜

吴甜指出,预训练大模型已成为人工智能发展的新方向,百度文心大模型源于产业、服务于产业,是真正的产业级知识增强大模型。百度通过大模型与国产深度学习框架融合发展,打造了自主创新的AI底座,真正发挥大模型驱动AI规模化应用的产业价值。

攀登技术新高地,百度深耕产业级大模型

近年来,国内外科技巨头如谷歌、微软、英伟达、百度等,相继在AI大模型领域展开探索。大模型的重要性在于——人工智能要真正发挥对产业升级转型的驱动力,需要与各行各业的特异性场景深度融合,而大模型正是支持人工智能低门槛应用于不同场景的通用力量。

大模型的出现,大幅降低了人工智能的应用门槛。其通过集中提供通用算法模型,打造技术底座,让大多数企业能够“站在巨人的肩膀上”, 使标注数据更少、开发效率更高、应用成本更低。

百度自2019年开始深耕预训练模型研发。2019年3月,百度率先发布中国首个正式开放的预训练模型ERNIE1.0,并持续投入于大模型的研发升级;2021年12月,ERNIE 3.0升级为全球首个知识增强千亿大模型鹏程-百度«文心。

目前,百度已成功打造文心大模型家族,多个大模型达到世界领先水平,例如全球首个百亿参数中英文对话大模型PLATO-XL、首个聚焦中英文场景大规模 OCR 结构化预训练模型 VIMER – StrucText、全球最大规模中文跨模态生成模型ERNIE-ViLG等。此外,鹏程-百度«文心大模型在60多项经典的NLP任务中取得世界领先效果。


超大规模模型的训练和推理,给深度学习框架带来很大考验。支撑文心大模型高效分布式训练的关键技术力,是百度飞桨平台自主研发的端到端自适应分布式训练框架与4D混合并行技术。依托飞桨,文心大模型解决了大模型训练过程中多个世界性难题,使大模型训练速度提升、模型效果更优。

基于百度飞桨平台与百舸集群,文心大模型在算法、框架、算力层面实现完全自主创新,百度通过大模型与国产深度学习框架融合发展,为中国产业智能化转型打造AI大底座。

大幅降低门槛,文心大模型助力产业规模化应用

随着大模型的价值凸显,由国内外科技巨头主导开发的大模型正在大量涌现。吴甜认为,大模型未来的发展趋势,一方面会继续出现技术创新,另一方面会在产业实用上有更多价值产生。

文心大模型作为产业级知识增强大模型,核心价值在于驱动AI的规模化应用。本次创意赛,百度在行业首次将先进的AI大模型能力开放给公众使用,吸引全国各地近2000名不同年龄、不同技术基础的选手参与其中,收集超过300份创意方案,作品覆盖教育、医疗、金融、娱乐、科技、心理健康等多个领域。

创意应用中,文心大模型用AI为创意插上腾飞羽翼。其基于大规模知识和海量无结构数据融合学习、深度学习,不断吸收海量文本数据中词汇、结构、语义等方面的知识,并通过持续学习不断提升理解能力和生成能力,实现视频、歌词、艺术画等创意作品的自动生成。尤其是在AIGC(AI generated content,人工智能创造内容)领域,借助大模型的跨模态综合技术能力激发创意、提升内容多样性。

基于文心大模型生成的歌词和艺术画

为了进一步降低AI应用难度,文心大模型还为开发者提供了工具平台,配套易上手的大模型开发、轻量化、部署工具,让各行各业的开发者都能低门槛地实现AI的应用。

据吴甜介绍,“今年是文心大模型产业落地关键年”。目前,文心大模型已大规模应用于百度内部的各类产品,包含搜索、信息流、小度智能屏、百度地图等,显著提升了产品智能化体验。基于文心的开放能力,对外的日调量也超过了五千万次。

文心大模型已通过飞桨开源开放平台、百度智能云等赋能到工业、能源、金融、通信、媒体、教育等各行各业,个人、企业开发者数量超6万。在保险领域应用中,文心大模型的智能解析能力,能使文本处理效率提升30倍;在人力资源领域应用中,文心大模型能实现候选人信息智能分类,模型识别准确率达到99%;在医疗领域应用中,文心大模型将每份病历的检查时间,从30分钟缩短到了秒级别。

从AI核心技术到AI基础平台,坚持技术创新及开放生态,百度正不断降低AI技术开发和应用的门槛,并通过云平台、AI框架、大模型的融合发展,为各行各业的数字化、智能化转型打造厚实的基础设施。

产业百度
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。 它给观测值和标注数据序列指定一个联合概率分布。 在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。

百度智能云机构

百度是全球最大的中文搜索引擎,是一家互联网综合信息服务公司,更是全球领先的人工智能平台型公司。2000年1月1日创立于中关村,公司创始人李彦宏拥有“超链分析”技术专利,也使中国成为美国、俄罗斯、和韩国之外,全球仅有的4个拥有搜索引擎核心技术的国家之一。

http://www.baidu.com
数据融合技术

数据融合技术将来自多个传感器(信息源)的数据和相关数据的信息相结合,以实现比单独使用单个传感器(信息源)所能实现的更高的准确性和更具体的推论。

量化技术

深度学习中的量化是指,用低位宽数字的神经网络近似使用了浮点数的神经网络的过程。

推荐文章
暂无评论
暂无评论~