Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

单体模型参数量达2457亿,浪潮发布全球最大规模人工智能巨量模型「源」

源1.0模型参数规模为2457亿,训练采用的中文数据集达5000GB,相比GPT3模型1750亿参数量和570GB训练数据集,源1.0参数规模领先40%,训练数据集规模领先近10倍。

9 月 28 日,浪潮人工智能研究院在京发布全球最大规模人工智能巨量模型 「源 1.0」。「源」的单体模型参数量达 2457 亿,超越美国 OpenAI 组织研发的 GPT-3,成为全球最大规模的 AI 巨量模型。「源 1.0 研讨会」同期举行,来自国内相关领域的院士、专家出席了研讨会,对 AI 巨量模型的创新与应用进行了深入研讨交流。

源 1.0 模型参数规模为 2457 亿,训练采用的中文数据集达 5000GB,相比 GPT3 模型 1750 亿参数量和 570GB 训练数据集,源 1.0 参数规模领先 40%,训练数据集规模领先近 10 倍。

「源 1.0」在语言智能方面表现优异,获得中文语言理解评测基准 CLUE 榜单的零样本学习小样本学习两类总榜冠军。在零样本学习榜单中,「源 1.0」超越业界最佳成绩 18.3%,在文献分类、新闻分类,商品分类、原生中文推理、成语阅读理解填空、名词代词关系 6 项任务中获得冠军;在小样本学习的文献分类、商品分类、文献摘要识别、名词代词关系等 4 项任务获得冠军。在成语阅读理解填空项目中,源 1.0 的表现已超越人类得分。

ZeroCLUE 零样本学习榜(第一行为人类得分)

FewCLUE 小样本学习榜(第一行为人类得分)

在对「源 1.0」进行的「图灵测试」中,将源 1.0 模型生成的对话、小说续写、新闻、诗歌、对联与由人类创作的同类作品进行混合并由人群进行分辨,测试结果表明,人群能够准确分辨人与「源 1.0」作品差别的成功率已低于 50%。

巨量模型的发展备受关注。斯坦福大学李飞飞教授等人工智能领域知名学者近期在论文中表示,这类巨量模型的意义在于突现和均质。突现意味着通过巨大模型的隐含的知识和推纳可带来让人振奋的科学创新灵感出现;均质表示巨量模型可以为诸多应用任务泛化支持提供统一强大的算法支撑。

源 1.0 中文巨量模型的发布,使得中国学术界和产业界可以使用一种通用巨量语言模型的方式,大幅降低针对不同应用场景的语言模型适配难度;同时提升在小样本学习零样本学习场景的模型泛化应用能力。

浪潮人工智能研究院表示,「源 1.0」将面向学术研究单位和产业实践用户进行开源、开放、共享,降低巨量模型研究和应用的门槛,有效推进 AI 产业化和产业 AI 化的进步,切实为国家在人工智能研究创新和产业发展作出贡献。

产业浪潮CLUE大规模预训练语言模型
相关数据
李飞飞人物

李飞飞,斯坦福大学计算机科学系教授,斯坦福视觉实验室负责人,斯坦福大学人工智能实验室(SAIL)前负责人。专业领域是计算机视觉和认知神经科学。2016年11月李飞飞加入谷歌,担任谷歌云AI/ML首席科学家。2018年9月,返回斯坦福任教,现为谷歌云AI/ML顾问。10月20日斯坦福大学「以人为中心的AI计划」开启,李飞飞担任联合负责人。11月20日李飞飞不再担任SAIL负责人,Christopher Manning接任该职位。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

图灵测试技术

图灵测试(英语:Turing test,又译图灵试验)是图灵于1950年提出的一个关于判断机器是否能够思考的著名试验,测试某机器是否能表现出与人等价或无法区分的智能。测试的谈话仅限于使用唯一的文本管道,例如计算机键盘和屏幕,这样的结果是不依赖于计算机把单词转换为音频的能力。

零样本学习技术

从仅仅一个或一小撮样本中学习一个新的概念,而普通的机器学习标准算法通常需要几十或几百个表现类似的样本。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

小样本学习技术

人类非常擅长通过极少量的样本识别一个新物体,比如小孩子只需要书中的一些图片就可以认识什么是“斑马”,什么是“犀牛”。在人类的快速学习能力的启发下,研究人员希望机器学习模型在学习了一定类别的大量数据后,对于新的类别,只需要少量的样本就能快速学习,这就是 Few-shot Learning 要解决的问题。

推荐文章
暂无评论
暂无评论~