2019/11/06 14:08

腾讯披露大数据平台技术演进历程：从引进到自研，十年四次升级

在11月6日召开的Techo开发者大会上，腾讯云副总裁、腾讯数据平台部总经理蒋杰博士正式对外披露腾讯大数据平台10年技术演进历程。经过10年的积累，腾讯大数据平台的算力资源池目前已有超过20万台的规模，每天实时数据计算量超过30万亿条，腾讯已经成为中国实时数据计算量最大的公司。并且，随着资源管理平台核心TKE和分布式数据库TBase正式对外开源，腾讯正在成为大数据领域开源最全面的公司。

腾讯云副总裁、腾讯数据平台部总经理蒋杰作为全球最大的互联网公司之一，腾讯的数据量在短短5、6年时间增长了几千倍，目前每天产生的数据量超过几十万亿条数据在产生。为了应对这种爆炸式增长，腾讯走出了一条技术引进+改造+自研的道路。经过长达十年的不断升级和完善，腾讯大数据平台已经经历了四代演进。针对最新的大数据和人工智能技术发展趋势，腾讯正在下一代计算平台中，探索批流融合、ABC融合以及数据湖和联邦学习等前沿技术。

十年四次升级建立“大数据+AI”双引擎技术架构

腾讯内部目前有超过100万台服务器，腾讯云联合所有业务部门，利用业务空闲资源打造一套算力共享平台，该算力弹性资源池有20万的规模，大数据平台每天有1500万的分析任务、30万亿次的实时计算量，并且每天数据接入条数达35万亿条数据。此外，腾讯云的分布式机器学习平台，能支撑1万亿维度的数据训练。

能支撑如此大规模数据的接入和运算，是腾讯在大数据技术领域超过10年的积累，其核心的大数据平台已经完成了三次迭代。从以Hadoop为核心的离线计算时代到以Spark、Storm、Flink为核心的实时计算时代，再到如今的机器学习和深度学习时代，腾讯从无到有研发了分布式的机器学习引擎Angel，以及一站式AI开发平台智能钛TI，用来解决数据训练和算法的问题。目前，腾讯正在研究以批流融合、ABC融合、以及数据湖和联邦学习为方向的下一代大数据平台的研究,该平台将具备混合部署、跨域数据共享和边缘计算等能力。

据了解，为支撑海量业务发展，腾讯已经建立了“大数据+AI”的双引擎技术架构，其中，最底层为分布式存储层，存储结构化及非结构化数据，第二层是资源调度层，做CPU、GPU和FPGA的管理，第三层是计算层、分析层、数据采集层，而顶层则是业务应用层。通过四层完整的技术架构，自下而上为腾讯的整个应用生态保驾护航，保障亿万用户能安全顺畅地享受到腾讯的优质服务。

从局部优化到自主研发在实践中不断创新

从开始的技术引进、局部优化到如今的自主创新，腾讯的大数据技术在实践中不断完善、不断创新。十年前，腾讯管理几百个节点都很困难，调度性能差，规模上不去。为了有效解决计算能力和大规模集群问题，腾讯自研调度器，相对原生调度器性能提升150倍，大大提升了集群可扩展性。2016年，腾讯打破Sort Benchmark四项世界纪录，标志着算力已经达到世界领先水平。

由于腾讯20万台弹性资源池的机器分布在多个数据中心，不同地区甚至是不同国家，为了降低数据使用壁垒，去年自研了漂移计算引擎SuperSQL，作为统一的数据分析入口，通过智能CBO优化器，将计算下推到分布在各地的异构数据源，数据分析性能提高很多倍，并且数据量越大优势越明显。

数据应用越来越深入，腾讯对数据挖掘的需求也越来越多。随着模型的增大，最初用来做数据训练的MR、Spark已经不能满足上亿的模型维度的需求。2015年初，腾讯开始自研高性能的分布式机器学习平台Angel，采用PS架构，能支持10亿维度。目前Angel发展到3.0版本，能支持万亿维度，也可以兼容Spark、PyTorch、TensorFlow等生态，进一步降低了使用门槛。此外，Angel今年还新增了对深度学习、图计算等的支持。

腾讯正成为大数据领域开源最全面厂商

技术迭代不断加速，企业建设大数据平台和机器学习平台，不仅成本高昂，而且缺乏相应的专业人才，面临种种问题。

云时代，这些问题得到有效解决。目前，腾讯已经把网络、存储、数据库等IaaS能力，大数据、机器学习等PaaS的能力，以及上层的图像、语音、NLP、BI等SaaS能力，通过腾讯云对外开放。在大数据和AI两个领域，腾讯推出了以TBDS和智能钛TI为首的双引擎。让每个企业，不需要专业的大数据和AI团队，也能便捷用上领先的大数据和AI的能力。

另外，腾讯也通过开源和广大开发者共享技术成果。从2014开始，将第一代平台的核心，腾讯版的Hive进行了开源，2017年，更是把第三代平台的核心Angel开源。今年，腾讯加快了开源的脚步，在内部推开源协同的战略推动下，腾讯所有的技术栈，后续会越来越开放。

2个月前，腾讯在ApacheCon 2019上，面向全球开发者正式宣布开源自身核心平台——实时数据采集平台TubeMQ，并捐献给Apache社区。此次在Techo大会现场，再次重磅宣布正式开源资源管理平台核心TKE和分布式数据库TBase，随着在大数据开源领域的开源逐步加速，腾讯正在成为中国大数据领域开源最全面的厂商。

“目前，已经有数百万的开发者在腾讯云上构建应用，相信后面会有越来越多开发者加入，我们将和所有开发者一起，共建云上的应用生态”，蒋杰表示。

产业腾讯大数据

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

数据分析技术

数据分析是一类统计方法，其主要特点是多维性和描述性。有些几何方法有助于揭示不同的数据之间存在的关系，并绘制出统计信息图，以更简洁的解释这些数据中包含的主要信息。其他一些用于收集数据，以便弄清哪些是同质的，从而更好地了解数据。数据分析可以处理大量数据，并确定这些数据最有用的部分。

来源：维基百科

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

调度技术

调度在计算机中是分配工作所需资源的方法。资源可以指虚拟的计算资源，如线程、进程或数据流；也可以指硬件资源，如处理器、网络连接或扩展卡。进行调度工作的程序叫做调度器。调度器通常的实现使得所有计算资源都处于忙碌状态，允许多位用户有效地同时共享系统资源，或达到指定的服务质量。 see planning for more details

来源：维基百科

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

边缘计算技术

边缘运算（英语：Edge computing），又译为边缘计算，是一种分散式运算的架构，将应用程序、数据资料与服务的运算，由网络中心节点，移往网络逻辑上的边缘节点来处理。边缘运算将原本完全由中心节点处理大型服务加以分解，切割成更小与更容易管理的部分，分散到边缘节点去处理。边缘节点更接近于用户终端装置，可以加快资料的处理与传送速度，减少延迟。在这种架构下，资料的分析与知识的产生，更接近于数据资料的来源，因此更适合处理大数据。

来源：Edge Computing: Vision and Challenges

TensorFlow技术

TensorFlow是一个开源软件库，用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品，如语音识别、Gmail、Google 相册和搜索，其中许多产品曾使用过其前任软件DistBelief。

来源：维基百科

数据库技术

数据库，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据运行新增、截取、更新、删除等操作。所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

来源：维基百科

数据挖掘技术

数据挖掘（英语：data mining）是一个跨学科的计算机科学分支它是用人工智能、机器学习、统计学和数据库的交叉方法在相對較大型的数据集中发现模式的计算过程。数据挖掘过程的总体目标是从一个数据集中提取信息，并将其转换成可理解的结构，以进一步使用。

来源：维基百科

大数据技术技术

大数据，又称为巨量资料，指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。

来源：维基百科

优化器技术

优化器基类提供了计算梯度loss的方法，并可以将梯度应用于变量。优化器里包含了实现了经典的优化算法，如梯度下降和Adagrad。优化器是提供了一个可以使用各种优化算法的接口，可以让用户直接调用一些经典的优化算法，如梯度下降法等等。优化器（optimizers）类的基类。这个类定义了在训练模型的时候添加一个操作的API。用户基本上不会直接使用这个类，但是你会用到他的子类比如GradientDescentOptimizer, AdagradOptimizer, MomentumOptimizer（tensorflow下的优化器包）等等这些算法。

来源：维基百科

腾讯机构

腾讯，1998年11月诞生于中国深圳，是一家以互联网为基础的科技与文化公司。我们的使命是“通过互联网服务提升人类生活品质”。腾讯秉承着 “一切以用户价值为依归”的经营理念，为亿万网民提供优质的互联网综合服务。腾讯的战略目标是“连接一切”，我们长期致力于社交平台与数字内容两大核心业务：一方面通过微信与QQ等社交平台，实现人与人、服务及设备的智慧连接；另一方面为数以亿计的用户提供优质的新闻、视频、游戏、音乐、文学、动漫、影业等数字内容产品及相关服务。我们还积极推动金融科技的发展，通过普及移动支付等技术能力，为智慧交通、智慧零售、智慧城市等领域提供有力支持。

http://www.tencent.com/