Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

蛋酱、杜伟编辑

从「大炼模型」到「炼大模型」:1.75万亿参数,全球最大预训练模型「悟道 2.0」问世

人工智能已进入「大数据 + 大算力 + 大模型」时代,拥有 1.75 万亿参数的「悟道 2.0」,如何延续暴力美学的奇迹?
6 月 1 日,由北京智源人工智能研究院主办(以下简称智源研究院)的 2021 北京智源大会正式开幕。本次大会采用线上、线下方式同步举行的方式,将全球各地的 AI 研究者联结在一起。大会为期三天,涵盖 4 场全体大会,29 个分论坛,并在会议前一天举行了 4 场重量级前沿讲习班。

相比于历届北京智源大会,这一届大会更加注重学术前沿进展的追踪和探讨,共邀请了 200 余位近期在学术领域有重大进展或突破的学者。此外,两位图灵奖得主 Yoshua Bengio、David Patterson,英国皇家学会院士、马克斯 · 普朗克生物控制研究所所长 Peter Dayan 分别从深度学习、体系架构以及类脑智能三方面带来了精彩报告。

北京市副市长靳伟致辞。

北京市副市长靳伟在开幕致辞中表示:「人工智能是引领新一轮科技革命和产业革命的战略性技术。北京的智源大会今年已经是第三届,为国内外人工智能领域优秀人才搭建了前沿学术研讨和思想交流的广阔平台,希望大家借助智源大会这个平台深入的研讨全球人工智能发展的趋势,积极开展科学研究、技术研发、人才培养、伦理实践等交流合作,对外发出更多的北京声音,为全球的人工智能治理贡献更多更好的倡议和方案。」

大会首日即有重磅发布清华大学教授、智源研究院学术副院长唐杰在开幕式上正式发布了「悟道 2.0」人工智能巨模型。它以 1.75 万亿参数量打破了此前谷歌 Switch Transformer 预训练模型创造的 1.6 万亿参数记录,成为了全球最大的预训练模型。

1.75 万亿参数,全球最大预训练模型「悟道 2.0」问世
 
2020 年 5 月,OpenAI 发布了拥有 1750 亿参数量的预训练模型 GPT-3,它不仅能够写文章、答题、翻译,还具备多轮对话、敲代码、数学计算等能力。其所使用的最大训练数据集在处理前达到了 45TB,当绝对的数据遇上绝对的算力,GPT-3 仿佛已经可以为所欲为。更重要的是,它展示了一条探索通用人工智能极富潜力的路径,这让一些研究者大胆判定:GPT-3 将改变世界,真正的 AI 要来了。

2021 年 1 月,谷歌大脑又发布了提出了 Switch Transformer 架构,将语言模型参数量扩展到了 1.6 万亿,又一次刷新了大模型的参数纪录。Switch Transformer 简化了 MoE(Mixture of Experts) 的路由算法(routing algorithm),设计了直观的改进模型,使得通信成本和计算成本都大大降低。但 MoE 离不开对谷歌分布式训练框架 mesh-tensorflow 和 Google 定制硬件 TPU 的依赖,抬高了应用和研究的门槛,绝⼤多数人无法得到使用与研究机会。

在这样的潮流下,构建以中文为核心的超大规模预训练模型及生态势在必行。就在今年 3 月,中国 AI 学界迎来了第一个超大规模预训练模型「悟道」。「悟道」由智源研究院牵头,汇聚清华、北大、人大、中科院等高校院所以及诸多企业的 100 余位 AI 领域专家共同研发,从基础性能、有效使用到预训练模型扩展,提出一系列创新解决方法,取得了多项国际领先的 AI 技术突破和多个世界第一。

如今,「悟道 2.0」更进一步:不仅在预训练模型架构、微调算法、高效预训练框架方面均实现了原始理论创新,在世界公认的多个 AI Benchmark 榜单上,该模型还取得了多项任务能力的领先地位。

「悟道 2.0」的算法基石是「FastMoE」。在攻关过程中,「悟道」团队开创了 FastMoE 技术,打破了 MoE 本身所存在的限制。作为首个支持 PyTorch 框架的 MoE 系统,FastMoE 具备简单易用、灵活、⾼性能的优势,并支持大规模并⾏训练。

  • FastMoE 论文地址:https://arxiv.org/abs/2103.13262

  • FastMoE 项目地址:https://github.com/laekov/fastmoe

新一代 FastMoE 支持 Switch、GShard 等复杂均衡策略,⽀持不同专家、不同模型,⽬前已基于阿⾥ PAI 平台探索在⽀付宝智能化服务体系中的应⽤,也在国产的神威众核超算平台成功部署。值得关注的是,这个世界最大的万亿级别模型,是完全基于国产超算平台打造的。

精准方面,「悟道 2.0」也取得了不菲的成绩,在 ImageNet、LAMA、LAMBADA、SuperGLUE、MSCOCO 等项目都取得了突破,获得了 9 项任务上的 SOTA。

这些成绩的背后,是悟道团队积累的多项技术创新。以文本生成图像框架「CogView」为例,它融合了 VQ-VAE 和 Transformer,在 MSCOCO FID 指标上优于 DALL·E 等网络,成为 DALL·E 之后绝无仅有的通用领域⽂ - 图模型。

  • CogView 论文地址: https://arxiv.org/abs/2105.13290

  • CogView 项目地址: https://github.com/THUDM/CogView

同时,第二代文澜正式对标 OPEN AI 的 CLIP,提出了一个双塔模型,在多语言上也取得重大进展。

最后,悟道团队提出了一个新型的算法「Inverse Prompting」,该模型可在生成图片、文字或其他相关内容时做反向校验,使得生成结果非常高清且具有很强的逻辑性,避免过于发散。

  • Inverse Prompting 论文地址:https://arxiv.org/abs/2103.10685

  • Inverse Prompting 论文地址:https://github.com/THUDM/InversePrompting

不仅参数规模世界最大,在多项算法突破之外,「高效易用」是「悟道 2.0」的另一张标签。

大规模预训练模型的参数规模通常远超传统的专用人工智能模型,在算力资源、训练时间等方面消耗巨大。为了提升产业普适性和易用性,悟道团队搭建了全链路高效预训练框架「CPM-2」,使得预训练效率大幅提升。

CPM-2 项目地址:https://github.com/TsinghuaAI/CPM-Generate
  • 具体而言,CPM-2 有几大优势:

  • 高效编码:研发了最高效、最抗噪的中文预训练语言模型编码,解决生僻字等问题

  • 高效模型:构建了世界首个纯非欧空间模型,只需要一半的参数量即可达到近似欧式模型的效果;

  • 高效训练:世界首创大规模预训练模型融合框架形成高效训练新模式,训练时间缩短 27.3%,速度提升 37.5%;

  • 高效微调:世界首创多类别 Prompt 微调,只需训练 0.001% 参数即可实现下游任务适配;

  • 高效推理:世界首创低资源大模型推理系统,单机单卡 GPU 即可以进行千亿参数规模的模型推理。

企业、研究者、开发者拿到这个框架以后,可以进行快速部署并应用。框架内整合了 50TB 的文本数据,包括词表、模型,也训练了核心的模型。框架在七项能力上达到整体最优,包括识记、阅读、分类、计算、话语、生成、概括。

WuDaoCorpora2.0

与「悟道 1.0」同时问世的全球最大中文语料库 WuDaoCorpora1.0,也在三个月内完成了强化升级。加入多模态和对话两大全新元素后,2021 北京智源大会上,WuDaoCorpora2.0 版本正式发布。

WuDaoCorpora2.0 由全球最大的纯文本数据集「WDC-Text」、全球最大的多模态数据集「WDC-ImageCaption」和全球最大的中文对话数据集「WDC-Dialogue」三部分构成,分别致力于构建微缩中文世界、打破图文模态壁垒、浓缩对话核心规律,从而形成多维度世界顶级数据库,促进中国的通用人工智能发展。

悟道文本数据集(WDC-Text)

今年 3 月,北京智源人工智能研究院发布了数据规模达 2TB 的全球最大中文语料库 WuDaoCorpora1.0,填补了世界范围内高质量超大规模中文语料库的空白。

在 1.0 版本的 2TB 数据基础上,2.0 版本的悟道文本数据集规模扩大了 50%,数据总量达到 3TB,远超 GPT-3 使用的英文数据集规模。除了数据规模大的特点之外,「WDC-Text」同时延续了质量高、标签全的特征。

「WDC-Text」延续了 WuDaoCorpora1.0 使用的 20 种以上严格清洗规则,从超过 100TB 原始网页数据得出高质量数据集。同时,2.0 版本持续关注了隐私数据信息的去除,从源头上避免了 GPT-3 存在的隐私泄露风险。

相比于 WuDaoCorpora1.0,「WDC-Text」采用更细致的数据标签种类和更精准的打标模型,为数据集添加了包含教育、科技等 50 多个行业的数据标签,可以支持特定领域的预训练模型训练。

悟道图文数据集(WDC-ImageCaption)

为了支撑推动跨模态预训练模型的研发工作,悟道团队构建了全球最大的图文多模态数据集。「WDC-ImageCaption」数据集包含 6.3 亿图文对,数据总量约 90TB,规模为全球最大。其中 6 亿为图文相关数据,3000 万是对图片内容的具体描述。

由于中西方存在的文化差异,跨模态任务模型常常存在数据偏置问题,即使用中文描述西方文化场景时,模型往往不能取得理想效果。WuDaoCorpora2.0 的多模态数据集注重融合中西方文化特征,可以帮助模型解决文化壁垒带来的数据偏置问题。

悟道对话数据集(WDC-Dialogue):

此外,智源研究院还与清华大学交互式人工智能实验室(CoAI)合作构建了全球最大的中文对话数据集「WDC-Dialogue」,该数据集包含 181GB 高质量中文对话数据,对话总数达到 1.4B。

由于日常对话存在口语化、非正式等特征,构建对话数据集需要严格把控数据质量。在悟道对话数据集建设过程中,团队采用了高效、严格的清洗规则,使清洗后的对话数据具有很强的相关性和多样性,成功从 9TB 原始数据中清洗得到 180G 高质量对话数据。

悟道对话数据集面向中文开放领域对话,不受特定场景限制,能够支撑聊天机器人、智能助手、虚拟亲友等热门交互式下游应用研发,具有极高的应用价值和广阔的应用前景。

为了促进数据建设成果的共享,WuDaoCorpora2.0 将在智源数据平台进行部分开放,同时也等待更多 AI 研究者的加入。

Bengio、朱民、鄂维南等 200 余位顶尖 AI 学者汇聚

「悟道 2.0」发布之外,大会邀请到了 200 余位国内外人工智能领域的顶尖专家参会,包括图灵奖得主 Yoshua Bengio、David Patterson,2017 年欧洲大脑奖得主、世界著名神经科学家 Peter Dayan,加州大学伯克利分校人工智能统计中心创始人、人工智能标准教科书《人工智能:一种现代方法》作者 Stuart Russell,自动驾驶之父 Sebastian Thrun,计算可持续性领域开创者 Carla Gomes 等,紧密围绕当前人工智能学术领域的前沿问题以及产业落地过程中的诸多挑战展开深入研讨。

大会首日上午,2018 年图灵奖得主 Yoshua Bengio、清华大学国家金融研究院院长朱民博士和中国科学院院士、北京大学教授鄂维南为大家带来了精彩的分享,主题包括深度学习系统 2.0 下机器学习的鲁棒性泛化研究、数据如何从资源转化为资产以及数学等传统学科与机器学习的融合。

Yoshua Bengio:深度学习系统 2.0 下,机器学习如何实现鲁棒性泛化

2018 年图灵奖得主、加拿大蒙特利尔大学教授 Yoshua Bengio 带来了主题为《深度学习系统 2.0 下的机器学习鲁棒性泛化(toward robust generalization in machine learning with system 2 deep learning)》的线上演讲。

Bengio 首先概述了现有 ML 研究的不足,比如学习理论(learning theory)仅能够处理相同分布下的泛化、模型可以学习但无法很好地泛化至修改后的分布。接着,他分析了深度学习系统 1.0 和系统 2.0 认知的异同,其中前者主要特征是无意识,后者主要表现为连续性和有意识。此外,Bengio 还提到,现有的工业强度的机器学习由于性能不佳面临着鲁棒性问题。

面对这些问题,Bengio 从以下几个方面进行了详细的解读:
  • 人类对归纳偏置的启发:隐性知识 VS 可用言辞表达的知识;

  • 抽象变量之间的稀疏依赖和抽象变量发挥因果作用;

  • 可重用因果机制;

  • 系统级泛化;

  • 离散、象征和抽象概念;

  • 稀疏的局部化干预。

最后,Bengio 分享了几项发表和提交至 NeurIPS、ICLR 等学术会议上的研究,进一步解读了发现大规模因果图、有意识推理的核心组件 - 注意力、自然生成系统以及离散值神经通信等主题。

朱民:经济学家眼中的数据资产时代

清华大学国家金融研究院院长朱民博士也带来了线上演讲,他的演讲主题为《数字资产的时代》,从经济学的视角深入剖析了数据如何从资源向资产转变。

朱民博士表示:「随着大数据和人工智能的快速发展,我们正离开信息时代进入智能时代。」智能时代的重要特征是数据先行,并且是一个以数据为基础的机器认知和人的认知共存的时代。在这一过程中,从数据到服务社区的路径变得更短以及更高效。与此同时,中国以及全球范围内数据规模快速扩大,数据流动带来了巨大的经济效益和财富。数据显示,2005 年至 2014 年,跨境数据流动使全球国内生产总值增长了约 3%,欧盟 8% 的 GDP 更是从个人数据中产生。

此外,数据自身具备的独特经济学特征,如虚拟、零转移成本、重复使用等,使其在经济学意义上有很大的想象空间。特别是数据本身没有价值,只有在使用时才产生价值。这些都要求我们思考如何将数据资产化,并且在这一过程中还需要考虑隐私、合规和安全等其他因素。

其实,数据资产的概念是由信息资源和数据资源逐步演变而来的,上世纪 70 年代出现信息资源,90 年代兴起数据资源。进入 21 世纪特别是近几年,由于大数据技术的兴起和繁荣发展,数据作为一种资产的概念越来越明确。只有将数据从资源转变为资产,我们这个智能社会才能得以更有效地运转。

数据资产具备哪些特征呢?根据朱民博士的介绍,数据资产不仅资源丰富、更新频繁和品种多样,而且有准公共物品的特征、外部性和自然增值性。此外,数据资产还具有多维性、无限共享性和更高的集合使用价值。最后一个特征至关重要,因为大数据、算法和科技要求数据要有足够的规模、维度和密度,而要支撑这三个基本概念,数据必须实现资产化。

但应看到,要想顺利地使数据变成资产需要克服一系列挑战,主要包含以下四个方面:数据产权模糊、隐私与安全问题突出、数据定价与估值困难以及数据开放与流通困难。数据不流通就会变成孤岛,也就无法达到数据的集聚与密度,效率就会大打折扣。针对这四个方面的挑战,朱民博士一一列举了相应的技术和管理层面的解决方案。

此外,数据资产商业模式也面临一些挑战,现阶段分为数据平台交易模式、数据银行模式和数据信托模式,并且大多数属于在第一种。基于此,数据若想从资源走向资产,需要构建安全、可交易和有效率的数据资产生态。更具体来讲,科技层面需要改进计算方案,市场层面需要提出激励机制,政府层面需要制定监管和和法律框架,国际层面需要完善全球治理机制。

最后,朱民博士认为:「中国正在走向全面走向数字经济,数据将成为最关键的基础和第一推动力。」在数据资产化的过程中,中国要想走在世界前列,政府必须发挥其至关重要的作用。

鄂维南:人脸识别等 ML 应用的本质是解决高维数学问题

中国科学院院士、北京大学教授鄂维南为大家带来了《科学与智能(AI for Science)》的主题演讲,介绍了机器学习在生物、化学、材料、工程等传统学科中的应用以及发展前景。

科学研究具有两大基本目的,其一是寻求基本规律,如行星运动三大规律和量子力学基本方程;其二是解决实际问题,如工程学科以及制造行业、材料学科等。科学的主要模型都是来自于物理学,比如牛顿方程、空气动力学,弹性力学、电磁场理论等等。薛定谔方程是量子力学的基本方程,科学计算的第一任务就是要解这类方程。虽然有了这些基本原理,但却无法利用它们解决实际的问题,所以碰到实际问题只能采取简化和经验来解决。

直到上世纪 50 年代,得益于电子计算机的出现,科学家们发明了差分方法、有限元方法、谱方法等,人类历史上第一次实现了直接用基本原理解决实际问题。

但应看到,依然有很多问题没有解决,如材料设计、分子与药物设计等。这些问题共同的根源在于维数灾难,内在变量太多,维数增加,计算量呈指数增长。与此同时,深度学习领域的图像识别、人脸照片生成和 AlphaGo 都可以解读成解决高维的数学问题。具体来讲,图像识别是解决高维函数逼近,图像生成是高维概率密度,AlphaGo 是解超大空间高维 Bellman 方程。归根究底,深度学习对高维函数提供了有效的逼近方法。

接着,鄂院士介绍了深度学习模型在高维控制问题分子动力学和空气动力学等领域的应用,强调了机器学习帮助构建有效、可靠和有效率物理模型的重要性。

最后,他认为,传统的科研领域应该成为人工智能的主战场,包括化学、材料、电子工程、化学工程和机械工程等。数学的发展也面临着前所未有的机遇和挑战,更应该促进与其他学科尤其是机器学习等 AI 技术的融合。

一张中国 AI 发展的学术名片

过去十余年,人工智能正在成为第四次产业革命的关键基础设施,引领新一轮风潮。继基于数据的互联网时代、基于算力的云计算时代之后,人工智能的大模型时代正在到来。超大数据 + 超大算力 + 超大模型, 将如「电网」一般,成为变革性产业基础建设设施,与驱动信息产业应用发展的核心动力。

自第一届北京智源大会举办以来,智源研究院始终关注内行真正认可的重大成果与真知灼见,希望打造一张北京乃至中国 AI 发展的学术名片。

在大会开幕式上,智源研究院院长黄铁军对《2021 智源进展报告》进行了整体介绍。过去的一年,智源研究院在「创新研究」、「学术生态」、「产业发展」、「AI 治理」四个层面取得了多项突破性进展。

「创新研究」

关于「创新研究」,黄铁军表示,目前明确可行的人工智能技术路线有三条,核心任务分别是构建「信息模型」、「自主模型」、「生命模型」。

第一条路径,基于深度学习、数据、算力的发展,过去十年间全球掀起了「大炼模型」的热潮,也催生了大批人工智能企业。和其他产业一样,热潮退去后,这一领域也将进入集约化的发展阶段:「炼大模型」。真正能够复制于各行各业的超大规模模型,在全世界范围内都是屈指可数的。

基于这一点,智源研究院在今年 3 月发布了我国首个超大规模智能模型「悟道 1.0」,包括文源、文澜、文汇、文溯在内的系列模型。如今,「悟道 2.0」也正式发布,已在多项国际评测方面得到了世界第一,并开放了全球最大的中文语料数据集「WuDaoCorpora2.0」。它提出了自然语言评测的新标准「智源指数」,包含 6 种主要语言、30 余项主流任务和相关数据集,形成了超大规模的权威考卷。

第二条路径,生命模型的发展有赖于脑科学特别是神经科学的进步,首先要在大算力的支持下对大脑进行高精度的仿真模拟。生命模型是未来脑科学和通用人工智能研究的关键,如何训练和测试超大规模的生命模型是探索人类自身、解密智能成因的圣杯。

针对生命模型,智源研究院成立了生命模拟研究中心,开发高精度生命模拟仿真平台「天演」,构建和探索感觉、知觉、记忆等智能模型,为新一代人工智能发展提供源泉。

第三条路径面临的挑战最大,构建地球乃至宇宙的模型,培育新一代自主人工智能,应对各类自然挑战。

智源研究院已经启动了「天道」物理模型的建设步伐,从基本粒子模型开始建立分子模拟研究中心,突破了分子模拟「快」与「准」难以兼顾的平衡,推动人工智能驱动的新一代分子动力训练模拟迈上新的台阶。

成立两年多以来,智源研究院已经确定将智能模型作为源头创新的核心任务,在机构设置、资源保障和机制体制创新方面进行了系统部署,全力构建信息模型、生命模型和物理模型「智能三剑客」。这三部分的创新研究进展,也都将在本次智源大会的日程中陆续公布。

「学术生态」

智源研究院自成立之初,就开始遴选智源学者,并积极建设智源社区,积极打造全球人工智能学术和技术创新的生态。

智源学者计划」主要支持优秀的领军科学家开展人工智能领域的重大方向的基础前沿研究,支持青年科学开展开放性、探索性研究。

目前该计划已完成遴选支持智源学者 94 人,包含智源首席科学家、智源研究员、智源青年科学家、智源特聘研究员、智源新星、智源探索者六个层次,研究方向包括人工智能的数理基础、机器学习、智能信息检索与挖掘、智能体系架构与芯片、自然语言处理人工智能的认知神经基础、自由探索六个方向。过去一年中,在智源研究院的支持下,多位智源学者取得了重大成就,斩获多个国际大奖,研究成果发表在《Nature》等国际顶尖期刊。

在「智源社区」建设上,智源研究院和国际 AI 技术生态深入融合,今年将紧密联系 3000 名以上的人工智能顶尖学者,汇聚 10 万名以上的海内外 AI 科研人员,打造连接世界 AI 学术和产业资源的平台。

此外,智源研究院特地发起了学术组织「青源会」,为海内外 AI 研究人员和技术人员建立宽松活跃的学术交流平台,旨在促进学科交叉与青年科学家之间的合作,提出具备引领作用的原创思想,开创新的科学前沿。

在 6 月 2 日上午的「青源学术年会」上,「青源会」成立仪式将正式披露其发展目标和未来的规划

「产业发展」

当前,人工智能已经成为经济发展的新引擎,智源研究院始终致力于加快推进 AI 原创成果落地和深度应用,孵化 AI 创新企业,推动人工智能产业发展。

今年,智源研究院还将推出「源创计划(BAAI Accelerator)」,为 AI 创业团队开放大模型、数据集等生态资源,为来自学术界的 AI 科学家、创业团队对接应用场景,同时为来自产业界的创业团队对接业界领先的 AI 技术,加快形成可落地的产品,另外还将通过创业基金等方式加快孵化一批具有国际领先技术能力的 AI 创新企业。

在 6 月 3 日上午的「AI 创业」论坛上,智源研究院理事长张宏江将正式发布「源创计划」。

人工智能伦理研究与治理

当前,AI 伦理和治理问题已经成为全球的共识,国际社会正在探索建立广泛认可的准则,推进敏捷灵活的 AI 治理。

智源研究院在 2019 年成立了人工智能伦理与可持续发展研究中心,率先在国内开展 AI 伦理安全研究,并积极参加国际 AI 治理。

在整体议程中,接下来,大会还将围绕国际人工智能学术前沿和产业热点召开多场专题论坛,议题分别为:「预训练模型」、「机器学习」、「群体智能」、「人工智能的数理基础」、「智能体系架构与芯片」、「精准智能」、「智能信息检索与挖掘」、「产业画像和精准治理」、「青源学术年会」、「认知神经基础」、「科学人工智能」、「人工智能伦理与可持续发展」、「认知智能」、「AI 健康医疗」、「AI 创业」、「智能制造」、「AI 交通」、「自然语言处理」、「强化学习与决策智能」、「AI 制药」、「AI 系统」、「视觉大模型」、「AI 开放与共享」、「AI 科技女性」等。

人工智能的大统一理论」、「GPT-n 需要什么样的智能计算系统」、「智能制造的未来方向与技术壁垒」、「AI 系统的发展趋势与挑战」、「AI 如何赋能生命健康与生物医药」当下 AI 领域最核心的学术及应用问题也将在专题论坛中得到解答。

工程悟道预训练模型
1
相关数据
清华大学机构

清华大学(Tsinghua University),简称“清华”,由中华人民共和国教育部直属,中央直管副部级建制,位列“211工程”、“985工程”、“世界一流大学和一流学科”,入选“基础学科拔尖学生培养试验计划”、“高等学校创新能力提升计划”、“高等学校学科创新引智计划”,为九校联盟、中国大学校长联谊会、东亚研究型大学协会、亚洲大学联盟、环太平洋大学联盟、清华—剑桥—MIT低碳大学联盟成员,被誉为“红色工程师的摇篮”。 清华大学的前身清华学堂始建于1911年,因水木清华而得名,是清政府设立的留美预备学校,其建校的资金源于1908年美国退还的部分庚子赔款。1912年更名为清华学校。1928年更名为国立清华大学。1937年抗日战争全面爆发后南迁长沙,与北京大学、南开大学组建国立长沙临时大学,1938年迁至昆明改名为国立西南联合大学。1946年迁回清华园。1949年中华人民共和国成立,清华大学进入了新的发展阶段。1952年全国高等学校院系调整后成为多科性工业大学。1978年以来逐步恢复和发展为综合性的研究型大学。

http://www.tsinghua.edu.cn/
相关技术
唐杰人物

唐杰是清华大学计算机系副教授。他以学术社交网络搜索系统Arnetminer而闻名,该系统于2006年3月推出,目前已吸引来自220个国家的2,766,356次独立IP访问。他的研究兴趣包括社交网络和数据挖掘。

张宏江人物

张宏江,生于湖北武汉,11岁时随家人移居河南叶县。1982年毕业于郑州大学无线电系。后来取得丹麦科技大学电子工程博士学位。2006年任微软亚太研发集团首席技术官、微软亚洲工程院院长,2011年10月至2016年12月任金山软件CEO。他被认为是计算机视频检索研究领域的“开山鼻祖”。

深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

信息检索技术

信息检索(IR)是基于用于查询检索信息的任务。流行的信息检索模型包括布尔模型、向量空间模型、概率模型和语言模型。信息检索最典型和最常见的应用是搜索引擎。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

维数灾难技术

维数灾难(英语:curse of dimensionality,又名维度的诅咒)是一个最早由理查德·贝尔曼(Richard E. Bellman)在考虑优化问题时首次提出来的术语,用来描述当(数学)空间维度增加时,分析和组织高维空间(通常有成百上千维),因体积指数增加而遇到各种问题场景。这样的难题在低维空间中不会遇到,如物理空间通常只用三维来建模。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

神经科学技术

神经科学,又称神经生物学,是专门研究神经系统的结构、功能、发育、演化、遗传学、生物化学、生理学、药理学及病理学的一门科学。对行为及学习的研究都是神经科学的分支。 对人脑研究是个跨领域的范畴,当中涉及分子层面、细胞层面、神经小组、大型神经系统,如视觉神经系统、脑干、脑皮层。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

人脸识别技术

广义的人脸识别实际包括构建人脸识别系统的一系列相关技术,包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。 人脸识别是一项热门的计算机技术研究领域,它属于生物特征识别技术,是对生物体(一般特指人)本身的生物特征来区分生物体个体。

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度,其目的是进行资源的优化。常见的规划方法包括经典规划(Classical Planning)、分层任务网络(HTN)和 logistics 规划。

数据库技术

数据库,简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据运行新增、截取、更新、删除等操作。 所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

云计算技术

云计算(英语:cloud computing),是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机各种终端和其他设备。

语料库技术

语料库一词在语言学上意指大量的文本,通常经过整理,具有既定格式与标记;事实上,语料库英文 "text corpus" 的涵意即为"body of text"。

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

大数据技术技术

大数据,又称为巨量资料,指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。

聊天机器人技术

聊天机器人是经由对话或文字进行交谈的计算机程序。能够模拟人类对话,通过图灵测试。 聊天机器人可用于实用的目的,如客户服务或资讯获取。有些聊天机器人会搭载自然语言处理系统,但大多简单的系统只会撷取输入的关键字,再从数据库中找寻最合适的应答句。

图像生成技术

图像生成(合成)是从现有数据集生成新图像的任务。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

文本生成技术

文本生成是生成文本的任务,其目的是使人类书写文本难以区分。

群体智能技术

集群智能(Swarm Intelligence),是指在某群体中,若存在众多无智能的个体,它们通过相互之间的简单合作所表现出来的智能行为,集群机器人便是集群智能一类。它由Gerardo Beni和Jing Wang于1989年在细胞机器人系统的背景下引入。

通用人工智能技术

通用人工智能(AGI)是具有一般人类智慧,可以执行人类能够执行的任何智力任务的机器智能。通用人工智能是一些人工智能研究的主要目标,也是科幻小说和未来研究中的共同话题。一些研究人员将通用人工智能称为强AI(strong AI)或者完全AI(full AI),或称机器具有执行通用智能行为(general intelligent action)的能力。与弱AI(weak AI)相比,强AI可以尝试执行全方位的人类认知能力。

量子力学技术

量子力学(Quantum Mechanics),为物理学理论,是研究物质世界微观粒子运动规律的物理学分支,主要研究原子、分子、凝聚态物质,以及原子核和基本粒子的结构、性质的基础理论。

快推机构
北京大学机构

北京大学创办于1898年,初名京师大学堂,是中国第一所国立综合性大学,也是当时中国最高教育行政机关。辛亥革命后,于1912年改为现名。2000年4月3日,北京大学与原北京医科大学合并,组建了新的北京大学。原北京医科大学的前身是国立北京医学专门学校,创建于1912年10月26日。20世纪三、四十年代,学校一度名为北平大学医学院,并于1946年7月并入北京大学。1952年在全国高校院系调整中,北京大学医学院脱离北京大学,独立为北京医学院。1985年更名为北京医科大学,1996年成为国家首批“211工程”重点支持的医科大学。两校合并进一步拓宽了北京大学的学科结构,为促进医学与人文社会科学及理科的结合,改革医学教育奠定了基础。

官网,http://www.pku.edu.cn/
暂无评论
暂无评论~