2023/12/27 15:15

我们深入华为这场线下闭门会，全方位围观中国大模型这一年

如何认识大模型？如何应对大模型的影响？为了发展大模型，我们该问哪些问题？

2023 年是大模型之年。

大模型代表了人工智能领域的重大进步，有史以来第一次人类真正看见了通用人工智能（AGI）的曙光。然而，关于大模型，我们了解得并不多。以 OpenAI 首席科学家 Ilya Sutskever 为代表的一些 AI 研究者坚信，足够精确地预测下一个词表明模型对文本内容有了足够深刻的理解。反对者则说，这只不过是统计学。

显然，我们正处于一场变革的起点。

关于大模型，我们知道些什么？该关注哪些问题？在刚刚举办的 2023 华为云 AI 院长峰会上，张钹院士、高文院士，以及来自全国 24 所高校的校长、学院院长和教授齐聚，围绕大模型及其发展做了深度的研讨。

如何认识大模型

张钹院士认为大模型是AI发展里程碑式的成就，标志着 AI 从专用到通用的转变。相比由知识驱动的第一代 AI 和由数据驱动的第二代 AI，大模型突破了三个特定，也即特定的领域、特定的模型与特定的任务，实现了一定程度的通用性，而这也使得建立可解释和鲁棒的AI理论成为可能。

^{张钹院士在 2023 华为云 AI 院长峰会上通过视频致辞}

通过文本语义向量表示、多头注意力机制的 Transformer 模型以及自监督学习这三个核心技术，大模型展现出了强大的生成能力、迁移能力和交互能力。其中，从过去只是把文本当成数据来处理，转变为对文本的内容及文本所包含的知识进行处理，是关键的一步。

但是，这种在外部提示下利用概率预测的自监督学习方法，与人类认知过程截然不同，因此大模型也存在三大本质性的缺陷：第一，输出质量不一致而且不可控，存在犯大错误的可能；第二，受提示词（输入词）影响很大，输出鲁棒性较差；第三，没有自知之明，缺乏自我纠错能力。所以，大模型出现幻觉，生成不符合道德伦理和政治标准的有害输出是一种正常状态，需要通过 AI 对齐来解决，这属于模型的治理问题。

张钹院士指出，尽管大模型在对话上实现了行为主义追求的目标，但 AI 在决策、博弈等认知领域的通用性尚待进一步研究。使 AI 走向通用必须发展第三代人工智能，包括建立可解释和鲁棒的 AI 理论，发展安全可信、可控可靠和可扩展的 AI 技术，推动 AI 的创新应用和产业发展。为了实现这个任务，需要把知识、数据、算法和算力这四个要素充分利用起来，同时关注 AI 的治理问题。

^{西安电子科技大学焦李成教授认为，大模型≠通用人工智能}

欧洲科学院院士、西安电子科技大学计算机科学与技术学部主任焦李成教授对大模型关键技术做了进一步的阐述：大模型技术的特性，是基于大规模深度神经网络模型，通过大量的数据和计算资源来提取信息、获取知识、模拟人类大脑智慧；通过对大量数据的拟合、逼近、学习、优化和分析，逐渐提炼出人类智慧的精髓，从而实现与人类相似的思考和决策能力。

焦李成教授明确指出，大模型 ≠ 通用人工智能（AGI），其本质上仍然是一个统计模型。大语言模型（LLM）只是对人类语言最基本部分的一种刻画，而语言与思维、推理等高级认知功能的复杂联系还远未被当前模型所充分捕捉。真正的 AGI 还需要一个统一的理论框架，综合价值体系、认知架构、心智理论、自我意识等，从而实现感知、认知、学习、推理、决策和执行等能力。

哈尔滨工业大学计算机学院教授、哈尔滨工业大学社会计算与信息检索研究中心主任秦兵教授进一步强调，人工智能打破了「技术伦理价值中立论」的原则，智能时代的到来，技术本身的实时性、感知性、交互性等特点，使 AI 成为「活」的技术参与到人类的生产生活中。秦兵教授指出，当前大模型研究的焦点往往局限于技术性能比较，忽视了智能技术对价值中立论造成的冲击。价值中立原则曾是工业资本主义技术伦理的核心，基于工业时代的「事实-价值两分法」，彰显了对确定性的追求。然而，这种确定性的范式难以应对智能时代的复杂性和不断涌现的新现象，坚持价值中立原则已不足以指导当前的技术伦理。

总的来说，当前大模型在真正的智能、理解、自适应性、可解释性和伦理安全等方面仍然存在许多根本性的挑战，需要在未来的研究中得到进一步的关注和解决。

大模型的影响及应对

在本次华为云 AI 院长峰会上，与会专家对大模型的科研影响、对产业进步以及对数字化转型的推动作用进行了多角度的剖析。

大模型算力基础设施及开源

高文院士在主题报告中介绍了鹏城实验室在超算平台建设和大模型训练方面的进展，以及在推动开源生态和算力网络建设方面的努力。目前，鹏城实验室正在训练 200B 参数的脑海大模型，这是实验室的重点工作。高文院士表示，在训练过程中，实验室进行了大量的数据清洗和整理，遭遇了宕机恢复时间、数据摆布、模型收敛稳定性等挑战，为了提高模型的推理速度，实验室进行了各种技术优化。同时，考虑到 200B 模型的规模，他们也在进行模型的轻量化工作，以便在资源有限的环境中运行。

^{中国工程院院士、鹏城实验室主任高文认为，开源开放是新一代人工智能发展的基本范式。}

高文院士认为，开源开放是新一代人工智能发展的基本范式。鹏城实验室已搭建开源协同的云脑生态，组织产学研通力协作，共建共享公益开源社区，并为产业提供多样化异构普惠算力，以自主可控的「算力平台+软件工具+大模型算法+产业应用」的大模型生态为牵引，发展我国新一代人工智能技术。

对科研的影响

南京大学人工智能研究院副院长黎铭表示，核心问题在于如何分析和处理收集到的数据，传统上这需要科研人员根据各自学科和领域选择合适的模型和算法，大模型为数据处理提供了一个相对统一的基础，降低了科研人员使用 AI 的门槛，使他们能够更容易地应用 AI 工具解决问题并获取有价值的结果。预计在不久的将来，AI 大模型将在众多领域，如材料设计、宇宙探索等领域，带来突破性的成果。

北京工业大学信息学部教授、北京人工智能研究院院长尹宝才看好大模型在辅助教学和人才培养方面的潜力，他认为大模型为高校科研提供了强大的工具和方法，如今北工大很多研究都直接在初始的大模型上做实验。但由于资源有限，他希望高校能更多地接触到企业级的大模型及相关应用。

香港科技大学（广州）协理副校长、人工智能学域主任熊辉认为应该勇敢拥抱大模型，他特别提到了利用大模型代替生物、化学、机械等各种实验中一些体力劳动的部分，尤其是从不同实验中寻找共性，更好地指导接下来的实验过程，从而提升科研效率。熊辉教授表示，大模型已经改变了我们的科研和教学范式，但当前我们对大模型能力的理解还不够充分，它们仍在快速进化中，学术界面临着如何利用这种不断进化的智能体来推进科研工作的挑战。

不过，也有人对大模型在科学实验和知识生产方面的影响表示了担忧。中国石油大学（北京）人工智能学院创院院长肖立志坦言，他对大模型的发展有一种担心。最近有研究使用大模型再现诺贝尔化学奖级别的工作，这表明大模型正在逐渐渗透到科学实验这一知识生产领域。肖立志教授认为我们需要深入思考大模型独立于人类控制之外形成闭环系统的影响，大模型有可能在人类不知情的情况下产生新的知识，这也会为大模型商业化初期带来挑战，如确权（知识产权问题）、定价（商业价值评估）等问题，以及这些问题可能导致的商业无序状态。

对产业的影响

复旦大学教授、上海市数据科学重点实验室主任肖仰华认为，大模型重塑行业的过程，就是重塑专家认识的过程，这既是机遇，也是难点所在。传统上，行业智能化依赖于小模型、知识工程、符号引擎、知识图谱等技术，这些方法在处理复杂性和非线性关系时存在限制。大模型通过对世界进行建模，让机器能够理解复杂现象，相当于让机器拥有一种认知世界的能力。大模型能够理解和处理复杂的行业数据，并据此进行分析和决策，以前这种能力通常只有人类专家才具备。肖仰华教授指出，配备了大模型的智能代理（Agent）不仅有认知能力，还具备操作实际工具和进行行业智能化改造的能力。人类文明的历史就是不断认知世界和基于这种认知进行实践的过程。现在，大模型让机器执行这两个过程成为可能，从而为各个行业带来根本性的变革和新机遇。

肖立志教授结合他在油气行业的深厚经验，认为大模型技术将深刻影响企业的数字化转型。ChatGPT 出现前，AI 在油气行业中的应用被定位在两个方面：一是对已知机理模型进行重复工作的自动化，一是对未知机理模型进行探索性工作以扩充人类的认知边界。ChatGPT 出现后，经过一段时间的适应和学习，他看到了大模型在油气行业中应用的亮点，在数字化转型过程中，原先顶层设计的流程是解耦的，但现在逐渐变成了耦合的过程，这可能是更好的转型方案。

熊辉教授指出，在数字化转型中，数据优势比算力更具决定性。尽管算力也很重要，但随着技术进步，许多企业都能够拥有足够的算力，真正的难点在于如何获取并有效使用数据。目前通过公域数据能够达到的大模型能力已接近其潜在的极限，尤其是在美国。他对较小规模的行业大模型保持乐观，其机会在于对特定领域的私有数据的掌握和理解，以及数据加工的水平。企业如果能在医疗、教育或娱乐等领域形成独特的数据资产，借助开源大模型并结合私域数据，他们仍然可以在自己的垂类中保持竞争力。

当然，峰会上也讨论了一个无法回避的问题——面对大模型对资源、人才的高密度需求，小团队该如何应对？

北京大学智能学院副院长林宙辰教授提出通过合作共享资源和数据，以及创新训练方法和奖励机制，来更高效地开发和利用大模型的必要性。现在许多公司都在开发自己的大模型，从几十亿到几千亿参数规模不等，但由于数据获取的限制，很多模型性能相似，同时为了训练这些大模型，需要大量的算力，这导致了资源的浪费和缺乏创新。

为了避免重复造轮子，林宙辰教授表示，时代呼吁联邦大模型。杨强教授提出，通过共享资源和数据，让数据留在本地，尽量减少通讯，从而让不同的组织和机构能够共同研发和使用大模型。林宙辰教授更进一步，提出成立联邦大模型有限公司的构想，通过股份和特别的奖励机制来鼓励公司共享数据和算力，其中股份可以基于资金贡献或者模型准确率的贡献来分配，个人也可以提供数据，或者参与到训练过程中，通过数据质量和微调效果拥有股份，使模型更加民主化。

无独有偶，深圳市人工智能与机器人研究院常务副院长、香港中文大学深圳机器人与智能制造研究院副院长丁宁教授也提出了类似的想法，即建立数据入股的方式构建具身基础大模型，吸引实体企业分享独有数据并共享应用收益。丁宁教授在《机器人技术产业化的几点思考》主题报告中指出，当以载体 / 装备 / 机器人（身体）作为数据接口，我国在全球 AI 竞争中就有了独特的优势，具身大模型技术路线使得利用高端机器人产业推动中低端制造业转型升级具备可行性，科技重工业化需要重资源、重资金、重人才、重数据，突破深水区难题。

盘古大模型难题发布，面向未来，加速落地

华为云 EI 服务产品部部长尤鹏在本次峰会上介绍了华为云盘古大模型整体解决方案，采用「5+N+X」的架构，即基于 5 个基础模型、N 个行业模型加 X 个行业场景去落地，提供平台、数据、模型、工具、解决方案等全栈能力。其中：

L0 层提供基础能力，包括自然语言、视觉、多模态、预测、科学计算
L1 层为行业/领域大模型，如盘古气象大模型、盘古矿山大模型、盘古政务大模型等
L2 层为场景模型，如金融 OCR、先导药物筛选、电力巡检、铁路 TFDS 检测等

^{华为云 EI 服务产品部部长尤鹏发表演讲}

尤鹏强调盘古大模型在行业落地方面采用三层架构，是为了更好地确立边界，这种方式也能充分发挥华为在提供开放平台、计算资源、基础大模型与工具链方面的能力。

尤鹏还分享了华为云在大模型行业应用方面的最新进展，并提出在产品化和产业化过程中遇到的一些挑战。他希望通过发布盘古大模型遇到的难题，邀请行业共同发展大模型并推进 LLM 技术的落地。尤鹏认为，解决这些挑战性问题不仅具有产品化和商业化价值，还具有创新性和领先性。

1、大规模并行训练：如何实现十万卡的大规模并行训练，包括网络通信优化、模型训练与基础设施深度结合，以及大规模集群故障的预测、感知、快速热迁移。

2、高效并行推理：核心问题包括如何实现更高效的解码生成，以及如何与昇腾硬件架构实现亲和，最大限度提升硬件性能。

3、AI 算力资源利用：如何在AI大规模集群任务调度和分配过程中实现资源的高效利用，包括训练作业和推理作业的资源分配优化，平衡局部最优和全局最优的资源分配。

4、大模型的压缩：探讨高效的量化压缩方法，实现精度无损的压缩，包括硬件优化和建立模型无损压缩的评价体系。

5、行业数据安全可控：如何在预训练场景下实现有效的联邦学习，以及数据胶囊技术的应用。

6、幻觉消除和可解释性：如何提升大模型的可解释性，以及如何消除模型的幻觉。

7、推理和规划能力提升：如何提升大模型的推理能力、规划能力，以及解空间搜索优化。

8、结构化知识的融合与预测：如何有效结合已有的结构化数据和图神经网络、图结构数据来提升预训练效果和数据对齐，并用这些分析来预测制造业中的产品销售、生产流程等情况，从而优化工业操作和决策。

9、模型微调与迁移学习：如何解决模型微调过程中可能出现的遗忘问题，提升模型迭代替换后的鲁棒性。

10、视觉领域大模型成功范式复刻：如何使 LVM 具备正迁移能力和涌现能力。

结语

正如华为云 CTO 张宇昕所说，大模型及相关应用是迄今为止最为复杂的软硬件系统工程，需要系统性的创新才能应对。大模型技术发展及应用落地的挑战，也是一项跨学科、跨领域合作的机会。在本次峰会上，华为云体现了对大模型技术及挑战的深刻理解，也展现出与高校和研究机构紧密合作的意愿。

华为云的策略不仅注重技术发展本身，而且强调了构建一个开放的平台，旨在促进学术和产业界之间的交流与协同。在这样的平台上，各方可以集中资源，共同定义和解决 AI 领域面临的「大问题」，不断突破科技边界。

随着 2024 年的临近，我们有理由期待，凭借华为云盘古大模型开放平台及工具链的支持，大模型将在能力、资源效率和多样性上迈出新的步伐。这种跨学科的合作模式将加速关键技术的发展，使大模型技术更加成熟，走进更丰富、更深入的应用场景。

产业2023 华为云 AI 院长峰会

相关技术

知识图谱

杨强人物

杨强现任香港科技大学新明工程学讲席教授、计算机科学和工程学系主任，大数据研究所所长。他是人工智能研究的国际专家和领军人物，在学术界和工业界做出了杰出的服务和贡献，尤其近些年为中国人工智能(AI)和数据挖掘(KDD)的发展起了重要引导和推动作用。

来源：百度百科 Yang, Q.

信息检索技术

信息检索（IR）是基于用于查询检索信息的任务。流行的信息检索模型包括布尔模型、向量空间模型、概率模型和语言模型。信息检索最典型和最常见的应用是搜索引擎。

来源：机器之心

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

调度技术

调度在计算机中是分配工作所需资源的方法。资源可以指虚拟的计算资源，如线程、进程或数据流；也可以指硬件资源，如处理器、网络连接或扩展卡。进行调度工作的程序叫做调度器。调度器通常的实现使得所有计算资源都处于忙碌状态，允许多位用户有效地同时共享系统资源，或达到指定的服务质量。 see planning for more details

来源：维基百科

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

智能代理技术

智能代理，或译为智能主体。在人工智能领域，智能代理是指一个可以观察周遭环境并作出行动以达致目标的自主实体。它通常是指一个软件程序。“智能代理”是目前人工智能研究的一个核心概念，统御和联系着各个子领域的研究。

来源：维基百科

收敛技术

在数学，计算机科学和逻辑学中，收敛指的是不同的变换序列在有限的时间内达到一个结论（变换终止），并且得出的结论是独立于达到它的路径（他们是融合的）。通俗来说，收敛通常是指在训练期间达到的一种状态，即经过一定次数的迭代之后，训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说，如果采用当前数据进行额外的训练将无法改进模型，模型即达到收敛状态。在深度学习中，损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变，暂时形成收敛的假象。

来源：Wikipedia Google ML glossary

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度，其目的是进行资源的优化。常见的规划方法包括经典规划（Classical Planning）、分层任务网络（HTN）和 logistics 规划。

来源：机器之心

统计模型技术

统计模型[stochasticmodel；statisticmodel；probabilitymodel]指以概率论为基础，采用数学统计方法建立的模型。有些过程无法用理论分析方法导出其模型，但可通过试验测定数据，经过数理统计法求得各变量之间的函数关系，称为统计模型。常用的数理统计分析方法有最大事后概率估算法、最大似然率辨识法等。常用的统计模型有一般线性模型、广义线性模型和混合模型。统计模型的意义在对大量随机事件的规律性做推断时仍然具有统计性，因而称为统计推断。常用的统计模型软件有SPSS、SAS、Stata、SPLM、Epi-Info、Statistica等。

来源：百度百科

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集（或特征）的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的，这让「神经网络在执行预测任务时可以更多关注输入中的相关部分，更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时，源句子中仅有少部分是相关的；因此，可以应用一个基于内容的注意力机制来根据源句子动态地生成一个（加权的）语境向量（context vector）, 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

来源：机器之心

知识图谱技术

知识图谱本质上是语义网络，是一种基于图的数据结构，由节点(Point)和边(Edge)组成。在知识图谱里，每个节点表示现实世界中存在的“实体”，每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲，知识图谱就是把所有不同种类的信息（Heterogeneous Information）连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。知识图谱这个概念最早由Google提出，主要是用来优化现有的搜索引擎。不同于基于关键词搜索的传统搜索引擎，知识图谱可用来更好地查询复杂的关联信息，从语义层面理解用户意图，改进搜索质量。比如在Google的搜索框里输入Bill Gates的时候，搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月，家庭情况等等。

来源：机器之心

机器人技术技术

机器人学（Robotics）研究的是「机器人的设计、制造、运作和应用，以及控制它们的计算机系统、传感反馈和信息处理」 [25] 。机器人可以分成两大类：固定机器人和移动机器人。固定机器人通常被用于工业生产（比如用于装配线）。常见的移动机器人应用有货运机器人、空中机器人和自动载具。机器人需要不同部件和系统的协作才能实现最优的作业。其中在硬件上包含传感器、反应器和控制器；另外还有能够实现感知能力的软件，比如定位、地图测绘和目标识别。之前章节中提及的技术都可以在机器人上得到应用和集成，这也是人工智能领域最早的终极目标之一。

来源：机器之心

准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary

迁移学习技术

迁移学习是一种机器学习方法，就是把为任务 A 开发的模型作为初始点，重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务，虽然大多数机器学习算法都是为了解决单个任务而设计的，但是促进迁移学习的算法的开发是机器学习社区持续关注的话题。迁移学习对人类来说很常见，例如，我们可能会发现学习识别苹果可能有助于识别梨，或者学习弹奏电子琴可能有助于学习钢琴。

来源：机器之心 Pan, S. J., & Yang, Q. (2010). A survey on transfer learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.

图神经网络技术

图网络即可以在社交网络或其它基于图形数据上运行的一般深度学习架构，它是一种基于图结构的广义神经网络。图网络一般是将底层图形作为计算图，并通过在整张图上传递、转换和聚合节点特征信息，从而学习神经网络基元以生成单节点嵌入向量。生成的节点嵌入向量可作为任何可微预测层的输入，并用于节点分类或预测节点之间的连接，完整的模型可以通过端到端的方式训练。

来源：机器之心

深度神经网络技术

深度神经网络（DNN）是深度学习的一种框架，它是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。

来源：机器之心 Techopedia

联邦学习技术

如何在保护数据隐私、满足合法合规要求的前提下继续进行机器学习，这部分研究被称为「联邦学习」（Federated Learning）。

通用人工智能技术

通用人工智能（AGI）是具有一般人类智慧，可以执行人类能够执行的任何智力任务的机器智能。通用人工智能是一些人工智能研究的主要目标，也是科幻小说和未来研究中的共同话题。一些研究人员将通用人工智能称为强AI（strong AI）或者完全AI（full AI），或称机器具有执行通用智能行为（general intelligent action）的能力。与弱AI（weak AI）相比，强AI可以尝试执行全方位的人类认知能力。

来源：wikipedia

自监督学习技术

一个例子中的内容特别多，而用一个例子做一个任务，就等于把其他的内容浪费了，因此我们需要从一个样本中找出多个任务。比如说遮挡图片的一个特定部分，用没遮挡部分来猜遮挡的部分是一个任务。那么通过遮挡不同的部分，就可以用一个样本完成不同任务。Yann Lecun描述的这个方法被业界称作「自监督学习」

语言模型技术

统计式的语言模型是借由一个几率分布，而指派几率给字词所组成的字串。语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。

来源：维基百科

量化技术

深度学习中的量化是指，用低位宽数字的神经网络近似使用了浮点数的神经网络的过程。

来源：Medium

中国石油机构

www.petrochina.com.cn

北京大学机构

北京大学创办于1898年，初名京师大学堂，是中国第一所国立综合性大学，也是当时中国最高教育行政机关。辛亥革命后，于1912年改为现名。2000年4月3日，北京大学与原北京医科大学合并，组建了新的北京大学。原北京医科大学的前身是国立北京医学专门学校，创建于1912年10月26日。20世纪三、四十年代，学校一度名为北平大学医学院，并于1946年7月并入北京大学。1952年在全国高校院系调整中，北京大学医学院脱离北京大学，独立为北京医学院。1985年更名为北京医科大学，1996年成为国家首批“211工程”重点支持的医科大学。两校合并进一步拓宽了北京大学的学科结构，为促进医学与人文社会科学及理科的结合，改革医学教育奠定了基础。

官网，http://www.pku.edu.cn/