Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

站在2022前展望大模型的未来,周志华、唐杰、杨红霞这些大咖怎么看?

岁末年初之际,让我们回顾大模型的过去,展望大模型的未来。

28 日,阿里巴巴达摩院发布 2022 十大科技趋势。其中,“大模型参数竞赛进入冷静期,大小模型将在云边端协同进化”的断言,在 AI 圈备受关注。


2021 是大模型爆发之年,我们见证了大模型的惊艳,但也了解了目前大模型的一些局限,如显著的高能耗等问题。

达摩院认为,超大规模预训练模型是从人工智能通用人工智能的突破性探索,解决了传统深度学习的应用碎片化难题,但性能与能耗提升不成比例的效率问题限制了参数规模继续扩张。

接下来,人工智能研究将从大模型参数竞赛走向大小模型的协同进化,大模型向边、端的小模型输出模型能力,小模型负责实际的推理与执行,同时小模型再向大模型反馈算法与执行成效,让大模型的能力持续强化,形成有机循环的智能体系。 

周志华唐杰、杨红霞等多位学界、业界代表性专家,对此发表了评论。

大模型接下来会如何发展?岁末年初之际,让我们回顾大模型的过去,展望大模型的未来。

大小模型将承担不同角色

南京大学计算机科学与技术系主任兼人工智能学院院长 周志华


大模型一方面在不少问题上取得了以往难以预期的成功,另一方面其巨大的训练能耗和碳排放是不能忽视的问题。个人以为,大模型未来会在一些事关国计民生的重大任务上发挥作用,而在其他一些场景下或许会通过类似集成学习的手段来利用小模型,尤其是通过很少量训练来 “复用” 和集成已有的小模型来达到不错的性能。

我们提出了一个叫做 “学件” 的思路,目前在做一些这方面的探索。大致思想是,假设很多人已经做了模型并且乐意放到某个市场去共享,市场通过建立规约来组织和管理学件,以后的人再做新应用时,就可以不用从头收集数据训练模型,可以先利用规约去市场里找找看是否有比较接近需求的模型,然后拿回家用自己的数据稍微打磨就能用。这其中还有一些技术挑战需要解决,我们正在研究这个方向。

另一方面,有可能通过利用人类的常识和专业领域知识,使模型得以精简,这就要结合逻辑推理和机器学习逻辑推理比较善于利用人类知识,机器学习比较善于利用数据事实,如何对两者进行有机结合一直是人工智能中的重大挑战问题。麻烦的是逻辑推理是严密的基于数理逻辑的 “从一般到特殊”的演绎过程,机器学习是不那么严密的概率近似正确的 “从特殊到一般”的归纳过程,在方法论上就非常不一样。已经有的探索大体上是以其中某一方为倚重,引入另一方的某些成分,我们最近在探索双方相对均衡互促利用的方式。

站在 2022,展望大模型的未来

清华大学计算机系教授,北京智源人工智能研究院学术副院长 唐杰


2021 年,超大规模预训练模型(简称大模型)成为国际人工智能前沿研究和应用的热点,发展迅速也面临系列挑战。最新发布的《达摩院 2022 十大科技趋势》将 “大小模型协同进化” 列为 AI 模型发展的新方向,提出“大模型参数竞赛进入冷静期,大小模型将在云边端协同进化”,值得业界关注。站在年末岁初,让我们一起回望大模型的 2021,展望它的 2022 和更远未来。

一、超大规模预训练模型迅速发展但也面临系列挑战

2021 年 8 月,斯坦福大学成立基础模型研究中心(CRFM)并将 BERT、GPT-3 和 CLIP 等基于大规模数据进行训练并可以适应广泛下游任务的模型统称为 “基础模型”。虽然这个概念在学术界引起了不少争议,有学者对于模型是否具有“基础性” 提出了质疑,但是应该看到,这些模型所表现出的能够更好处理现实世界复杂性的能力,使得它们变得愈发重要。

产业界持续推动大模型研发,并不断将模型的规模和性能推向新高。1 月,OpenAI 发布大规模多模态预训练模型 DALL·E 和 CLIP,谷歌发布 1.6 万亿规模预训练语言模型 Switch Transformer,10 月,微软和英伟达发布 5300 亿规模的 Megatron-Turing 自然语言生成模型 MT-NLG。另外,大模型应用也在不断丰富,目前全球基于 GPT-3 的商业应用已有几百个,随着近期 GPT-3 全面开放 API 申请和微调功能,GPT-3 应用生态也将加速形成。

2021 年也是我国超大规模预训练模型发展的“元年”,目前,已有智源研究院、鹏城实验室、中科院自动化所、阿里、百度华为、浪潮等科研院所和企业研相继发出“悟道”、“盘古”、“紫东 · 太初”、M6、PLUG、ERNIE 3.0 等大模型。

虽然国内外超大规模预训练模型取得了较大进展,但是同时也应认识到,大模型发展还有很多亟待解决的重要问题。例如,预训练模型的理论基础尚未明确(如大模型智能的参数规模极限存在吗),大模型如何高效、低成本的应用于实际系统;其次构建大模型需要克服数据质量、训练效率、算力消耗、模型交付等诸多障碍;最后目前大部分大模型普遍缺乏认知能力的问题,这也是部分学者质疑这类模型能否被称为 “基础模型” 的原因之一。能否通过大模型实现更通用的智能?怎么实现?这些都需要学术界和产业界不断探索。

二、大模型打造数据与知识双轮驱动的认知智能

人工智能经过数十年的发展,历经符号智能、感知智能两个时代,目前来到第三代人工智能即认知智能的大门口。认知智能不仅要求基于大数据的深度学习及对应的感知识别,还要求机器具有认知和推理能力,要让机器具备与人接近的常识和逻辑,这就对数据与知识的融合提出了迫切需求。

回顾人工智能的发展,1968 年图灵奖获得者 Edward Feigenbaum 研发出世界首个专家系统 DENDRAL;1999 年互联网发明人、图灵奖获得者 Tim Berners-Lee 爵士提出语义网的概念;图灵奖获得者 Yoshua Bengio 在 2019 年 NeurIPS 大会的主题报告中指出,深度学习应该从感知为主向基于认知的逻辑推理和知识表达方向发展,这个思想和清华大学张钹院士提出的第三代人工智能思路不谋而合。同期,美国国防部高级研究计划局(DARPA)发布 AI NEXT 计划,核心思路是推进数据计算与知识推理融合的计算,还委托了伯克利等机构,开展 SYMBOLIC - NEURAL NEWORK(符号加神经网络计算)研究,其目的就是要加快推进这一进程。

总的来说,研究数据与知识融合的双轮驱动 AI 时代已经到来,核心是利用知识、数据、算法和算力 4 个要素,不仅是使用数据驱动的方法来建构模型,还需要将用户行为、常识知识以及认知联系起来,主动 “学习” 与创造。

智源研究院研发的 “悟道” 大模型是我国具有代表性的超大规模预训练模型,探索了大模型研发的另外一条路径,旨在打造数据与知识双轮驱动的认知智能,建立超越图灵测试的通用机器认知能力,让机器像人一样“思考”。

在大模型研发过程中,我们初步定义了大模型需要具备的 9 种机器认知能力(T9 准则):

1. 适应与学习能力:机器具有一定的模仿能力,能够通过模仿和反馈学习人的语言和行为;

2. 定义与情境化能力:机器能够根据感知上下文场景做出反应(语言和行为反馈),并保证反应的一致性;

3. 自我系统的准入能力:机器具有一个稳定的人设(如:稳定的心理大五人格),在生成对待事物的观点时,不会随意改变自己的观点和情感倾向;

4. 优先级与访问控制能力:机器具有能发现自我观点的矛盾和纠结,但最终能做出一个选择,并在后续行为中保持一致;

5. 召集与控制能力:机器能主动搜索与自身人设一致或者符合自身利益的内容(新闻),并对其进行正面评论;反之也能搜索与自身人设相违背的内容,并对其进行反驳;

6. 决策与执行能力:机器能主动搜索内容信息、统计其他机器与人的观点与倾向,根据自身人设做出对自己有利的决策并执行;

7. 错误探测与编辑能力:机器能自动对无法判断的事物进行假设,并进行追踪,如果发现假设错误或者假设不完备,能自动进行编辑修正;

8. 反思与自我监控能力:机器具有自动校验能力,如果发现执行的操作不正确,具有自我监控和修正的能力;

9. 条理与灵活性之间的能力:机器能够自动规划和保证执行操作之间的条理性;同时如果发现条理不正确的时候,具有一定灵活性,可以修正自己的行为。


要全面实现以上 9 种机器认知能力还有很长的路要走,但我们坚信下一个人工智能浪潮的兴起必然伴随着认知智能的实现,让机器具有推理、解释、认知能力,在多项人类感知与认知任务中超越图灵测试。大模型已经在认知智能发展上进行了一年的探索,并取得阶段进展。

三、大模型的未来

《达摩院 2022 十大科技趋势》提出,大小模型将在云边端协同进化。大模型向边、端的小模型输出模型能力,小模型负责实际的推理与执行,同时小模型再向大模型反馈算法与执行成效,让大模型的能力持续强化,形成有机循环的智能体系。这一观点富有启发性,而且有助于大模型从实验室走向规模化的产业应用。

在我看来,未来大规模研究将更加注重原始创新,围绕认知智能以及高效应用等多个角度展开。

在认知智能方面,模型参数不排除进一步增加的可能,甚至到百万亿、千万亿规模,但参数竞赛本身不是目的,而是要探究进一步性能提升的可能性。大模型研究同时注重架构原始创新,通过模型持续学习、增加记忆机制、突破三元组知识表示方法等方法进一步提升万亿级模型的认知智能能力。在模型本身方面,多模态、多语言、面向编程的新型模型也将成为研究的重点。

在高效应用方面,将大大降低大模型使用门槛,让大模型用起来,促进中小企业形成 “大模型 + 少量数据微调” 的 AI 工业化开发模式。主要实现:

1)降成本:降低模型在预训练、适配下游任务、推理过程中的算力消耗;

2)提速度:通过模型蒸馏、模型裁剪等手段提升千亿或以上规模模型推理速度 2 个数量级;

3)搭平台:通过搭建一站式开发及应用平台提供从在线模型构建、在线模型部署、应用发布的全流程预训练服务,能够支持成百上千个应用的开发与部署,相信后续大模型的广泛应用将成为赋智我国经济高质量发展的关键助推剂。


思考的快与慢,与下一代人工智能

阿里巴巴达摩院人工智能科学家 杨红霞


人工智能学者一直试图从大脑工作模式中汲取灵感,但大脑究竟如何思考是非常复杂的课题。诺贝尔经济学奖获得者丹尼尔 · 卡内曼教授的《思考, 快与慢》指出,人的思考有两种模式。我们很多时候下意识地作出反应,是快的模式。举个例子,如果每天从家到公司的路线一模一样,就不需要做太多思考,沿着原路走就行,这是快思考。什么是慢思考?突然有一天,公司和家之间在修路,需要重新规划路径,这时就不得不进行慢思考。

基于大脑思考的模式,解决下一代人工智能的核心认知推理问题,是我们团队近几年最重要的目标。GPT-3 激发了大家投入大模型研发的巨大热情,但由于大模型的能耗和效率问题,学界又对是否一定要用大模型提出疑问。通过大量的实际探索,我们认为,大模型和小模型可以协同发展,分别承担慢思考和快思考的任务。云上能容纳海量知识的大模型,就像超级大脑,有能力进行慢思考,而在端上与大模型协同的小模型可以执行快思考。

近年来,随着预训练技术在深度学习领域的飞速发展,预训练大模型(大模型)逐渐走进人们的视野,成为人工智能领域的焦点。大模型在文本、图像处理、视频、语音等多个 AI 领域实现较大突破进展,并逐渐成为 AI 的基础模型(Foundation Model),同时大模型也在积极与生命科学领域进行结合,包括在蛋白质、基因等方向取得进展,并在细胞分类、基因调控关系发现、细菌耐药性分析等任务中前景广阔。可以认为大模型是目前解决推理认知问题最先进的工具,不过预训练大模型还有亟待突破的几个课题,比如:

1、目前的主流实践是先通过训练大模型(Pretrained Model),得到参数规模大、精度高的模型后,再基于下游任务数据,通过剪枝、微调的方法(Finetune)将模型的体积压缩,在基本不损失精度的情况下减轻部署的压力,目前业界还没找到通用的、直接训练小型模型就能得到较满意精度的办法;

2、训练千亿、万亿模型动辄就上千张 GPU 卡,给大模型的推广和普惠带来了很大的挑战;

3、预训练模型 Pretrain 阶段参数量大,目前主要采用大量非结构化数据进行训练,如何与知识等结构化数据进行结合,让模型更加有效地实现认知推理,也是一个非常大的挑战。


在解决大模型亟待突破的课题方面,我们做了不少尝试,可供业界参考。今年 11 月,我们发布了全球首个 10 万亿参数的多模态大模型 M6,相比去年发布的 GPT-3,实现同等参数模型能耗仅为其 1%,降低了大模型实现门槛,推动了普惠 AI 的发展。今年 10 月我们对外开放的云服务化平台是目前业界覆盖下游任务最广泛的平台,涵盖各项单模态和跨模态的理解及生成任务。目前,M6 已在阿里巴巴超 50 余个不同业务场景中应用。

未来,除了通过低碳化发展绿色 AI、平台化应用推进普惠 AI 以及突破认知推理等技术外,我们希望大模型还能积极探索与科学应用的结合,潜在科学应用方向可能包括脑神经连接图谱绘制、脑机接口、透明海洋等领域。

在形成更高效、更广泛的智能体系上,大小模型在云边端协同进化带来了新的可能性。在边端与大模型协同的小模型执行快思考方面,我们也进行了积极探索和规模化落地。大模型可以向边、端小模型的输出,让小模型更容易获取通用的知识与能力,小模型专注在特定场景做极致优化,提升了性能与效率;同时小模型向大模型反馈执行成效,解决了过去大模型数据集过于单一的问题,最后全社会不需要重复训练相似的大模型,模型可以被共享,算力与能源的使用效率得以最大化。这一模式有望构建下一代人工智能的基础设施,在让人工智能的通用能力进一步提升。

经历符号主义的衰落与深度学习的繁荣,我们来到了新的路口。科技的进程往往由天才般的灵感与极大量的实践推进,人工智能的演进也是如此,在收敛与发散之间不断寻找突破口。大模型是一个令人激动的里程碑,接下来该走向何方,我们或许可以继续向自身追问,在快思考与慢思考中获取新的启示。
入门杨红霞唐杰周志华大模型
相关数据
清华大学机构

清华大学(Tsinghua University),简称“清华”,由中华人民共和国教育部直属,中央直管副部级建制,位列“211工程”、“985工程”、“世界一流大学和一流学科”,入选“基础学科拔尖学生培养试验计划”、“高等学校创新能力提升计划”、“高等学校学科创新引智计划”,为九校联盟、中国大学校长联谊会、东亚研究型大学协会、亚洲大学联盟、环太平洋大学联盟、清华—剑桥—MIT低碳大学联盟成员,被誉为“红色工程师的摇篮”。 清华大学的前身清华学堂始建于1911年,因水木清华而得名,是清政府设立的留美预备学校,其建校的资金源于1908年美国退还的部分庚子赔款。1912年更名为清华学校。1928年更名为国立清华大学。1937年抗日战争全面爆发后南迁长沙,与北京大学、南开大学组建国立长沙临时大学,1938年迁至昆明改名为国立西南联合大学。1946年迁回清华园。1949年中华人民共和国成立,清华大学进入了新的发展阶段。1952年全国高等学校院系调整后成为多科性工业大学。1978年以来逐步恢复和发展为综合性的研究型大学。

http://www.tsinghua.edu.cn/
相关技术
华为机构

华为创立于1987年,是全球领先的ICT(信息与通信)基础设施和智能终端提供商。

https://www.huawei.com/cn/
唐杰人物

唐杰是清华大学计算机系副教授。他以学术社交网络搜索系统Arnetminer而闻名,该系统于2006年3月推出,目前已吸引来自220个国家的2,766,356次独立IP访问。他的研究兴趣包括社交网络和数据挖掘。

周志华人物

周志华分别于1996年6月、1998年6月和2000年12月于 南京大学计算机科学与技术系获学士、硕士和博士学位。主要从事人工智能、机器学习、数据挖掘 等领域的研究工作。主持多项科研课题,出版《机器学习》(2016)与《Ensemble Methods: Foundations and Algorithms》(2012),在一流国际期刊和顶级国际会议发表论文百余篇,被引用三万余次。

深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

专家系统技术

专家系统(ES)是人工智能最活跃和最广泛的领域之一。专家系统定义为:使用人类专家推理的计算机模型来处理现实世界中需要专家作出解释的复杂问题,并得出与专家相同的结论。简言之,如图1所示,专家系统可视作“知识库(knowledge base)”和“推理机(inference machine)” 的结合。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

弱人工智能技术

弱人工智能(weak AI),也被称为窄AI,是专注于某一特定狭窄领域任务的人工智能。 相对于可以用来解决通用问题的强(泛)人工智能,几乎目前所有的人工智能都属于弱人工智能的范畴I。

集成学习技术

集成学习是指使用多种兼容的学习算法/模型来执行单个任务的技术,目的是为了得到更佳的预测表现。集成学习的主要方法可归类为三大类: 堆叠(Stacking)、提升(Boosting) 和 装袋(Bagging/bootstrapaggregating)。其中最流行的方法包括随机森林、梯度提升、AdaBoost、梯度提升决策树(GBDT)和XGBoost。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

剪枝技术

剪枝顾名思义,就是删去一些不重要的节点,来减小计算或搜索的复杂度。剪枝在很多算法中都有很好的应用,如:决策树,神经网络,搜索算法,数据库的设计等。在决策树和神经网络中,剪枝可以有效缓解过拟合问题并减小计算复杂度;在搜索算法中,可以减小搜索范围,提高搜索效率。

收敛技术

在数学,计算机科学和逻辑学中,收敛指的是不同的变换序列在有限的时间内达到一个结论(变换终止),并且得出的结论是独立于达到它的路径(他们是融合的)。 通俗来说,收敛通常是指在训练期间达到的一种状态,即经过一定次数的迭代之后,训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说,如果采用当前数据进行额外的训练将无法改进模型,模型即达到收敛状态。在深度学习中,损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变,暂时形成收敛的假象。

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度,其目的是进行资源的优化。常见的规划方法包括经典规划(Classical Planning)、分层任务网络(HTN)和 logistics 规划。

逻辑推理技术

逻辑推理中有三种方式:演绎推理、归纳推理和溯因推理。它包括给定前提、结论和规则

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

DENDRAL技术

Dendral是20世纪60年代的人工智能(AI)项目,以及它生产的计算机软件专家系统。其主要目的是研究科学中的假设形成和发现。

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

图像处理技术

图像处理是指对图像进行分析、加工和处理,使其满足视觉、心理或其他要求的技术。 图像处理是信号处理在图像领域上的一个应用。 目前大多数的图像均是以数字形式存储,因而图像处理很多情况下指数字图像处理。

语义网技术

语义网是由万维网联盟的蒂姆·伯纳斯-李在1998年提出的一个概念,它的核心是:通过给万维网上的文档蒂姆加能够被计算机所理解的语义,从而使整个互联网成为一个通用的信息交换媒介。语义万维网通过使用标准、置标语言和相关的处理工具来扩展万维网的能力。

图灵测试技术

图灵测试(英语:Turing test,又译图灵试验)是图灵于1950年提出的一个关于判断机器是否能够思考的著名试验,测试某机器是否能表现出与人等价或无法区分的智能。测试的谈话仅限于使用唯一的文本管道,例如计算机键盘和屏幕,这样的结果是不依赖于计算机把单词转换为音频的能力。

参数模型技术

在统计学中,参数模型是可以使用有限数量的参数来描述的分布类型。 这些参数通常被收集在一起以形成单个k维参数矢量θ=(θ1,θ2,...,θk)。

自然语言生成技术

自然语言生成(NLG)是自然语言处理的一部分,从知识库或逻辑形式等等机器表述系统去生成自然语言。这种形式表述当作心理表述的模型时,心理语言学家会选用语言产出这个术语。自然语言生成系统可以说是一种将资料转换成自然语言表述的翻译器。不过产生最终语言的方法不同于编译程式,因为自然语言多样的表达。NLG出现已久,但是商业NLG技术直到最近才变得普及。自然语言生成可以视为自然语言理解的反向: 自然语言理解系统须要厘清输入句的意涵,从而产生机器表述语言;自然语言生成系统须要决定如何把概念转化成语言。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

阿里巴巴机构

阿里巴巴网络技术有限公司(简称:阿里巴巴集团)是以曾担任英语教师的马云为首的18人于1999年在浙江杭州创立的公司。

https://www.alibabagroup.com/
百度网讯机构

北京百度网讯科技有限公司是百度旗下公司,拥有网页搜索、hao123、百度推广等多条业务线,致力于为用户提供“简单可依赖”的互联网搜索产品及服务。

http://www.baidu.com
通用人工智能技术

通用人工智能(AGI)是具有一般人类智慧,可以执行人类能够执行的任何智力任务的机器智能。通用人工智能是一些人工智能研究的主要目标,也是科幻小说和未来研究中的共同话题。一些研究人员将通用人工智能称为强AI(strong AI)或者完全AI(full AI),或称机器具有执行通用智能行为(general intelligent action)的能力。与弱AI(weak AI)相比,强AI可以尝试执行全方位的人类认知能力。

快推机构
推荐文章
暂无评论
暂无评论~