聚焦技术和实践,腾讯全面揭秘基础设施和大数据演进之路

“开发者是推动技术发展的主力军,数字社会向前的每一步,都离不开广大开发者。作为数字化转型助手,腾讯云将秉持“开源、共享、创新”的三大理念持续助力开发者的个人成长和价值创造,目前,腾讯云已经服务了数百万开发者,给到开发者的资源扶持超过100亿元。”腾讯公司副总裁、腾讯云总裁邱跃鹏在Techo开发者大会表示。

腾讯公司副总裁、腾讯云总裁 邱跃鹏

Techo是腾讯云面向全球开发者和技术爱好者发起的,专注于探讨云计算前沿技术趋势和应用实践领域的的非商业大会,通过搭建一个纯粹的技术交流和共享平台,与数千万开发者们共同探索、共同创造。本次大会汇集了150多位海内外技术专家和来自全球各地的数千万位开发者和技术爱好者,全面解读了当前云计算、大数据、人工智能、物联网、音视频、边缘计算、无服务计算、云原生、安全等领域的最新技术态势和最佳落地实践。

云计算技术未来三大重要趋势

云计算的使命之一就是为开发者提供更高效、更便捷、更先进的开发环境和工具,让开发者更好地解决问题,实现自己的创意、释放创造的价值。对于未来云计算技术的演进,邱跃鹏在大会致辞时表示:云计算未来有三大趋势,即软硬件一体化(Cloud Native Hardware)、无服务器计算(Serverless)和智能化(Smart)。

邱跃鹏指出,随着云计算承载的业务规模越来越大,软件和硬件的结合成为刚需。软硬件一体化技术会进一步发展,为开发者提供更强壮的基础设施平台,提升云计算的性能、提高资源利用率,最终为开发者提供稳定、更具性价比的服务。软硬件一体化带来的技术红利,值得每一位开发者关注。

同时,无服务器计算,即 Serverless正在快速演进。Serverless能把开发者从繁琐、冗杂的开发配置工作中解放出来,不需要任何的基础设施建设、管理与运维,极大降低了开发门槛,开发者只需关注自己的业务逻辑。以腾讯云和微信联合推出的“小程序·云开发”为例,上线一年已经服务超过50万开发者。“小程序·云开发”让更多开发者实现他们的小程序梦想,未来,Serverless理念会在更多开发场景中落地。

随着硬件红利不断释放、开发者越来越关注于自己的应用,数字化进程不断加快。随之而来的数据量不断增长,对算力的要求越来越高,人工智能也成为开发者们必须关注和应用的技术。人工智能正在快速演进,云厂商也将会提供更多人工智能产品和能力给到开发者。

首次全面揭秘基础设施和大数据技术演进全貌

作为全球最大的互联网公司之一,腾讯无论在基础架构还是大数据AI领域的实践,都极具代表性。这次作为腾讯云在两大领域的技术负责人,首次全面披露腾讯20年在这块的技术积累。

腾讯云副总裁、云架构平台部总经理谢明表示:“无论是从使用通用服务器到不久前发布的“为云而生”的服务器星星海,还是从第一代数据中心中传统的电信解决方案到如今第四代的T-block产品家族,腾讯云在基础设施领域已经走出了一条自主创新之路,而随着云计算基础设施的不断进化,这些经过微信、QQ等海量业务充分验证过的基础能力,正在通过腾讯云共享给更多开发者,助力产业互联网发展。

以星星海服务器来说,在设计过程中,充分结合数据中心实际部署环境要求,针对云端的计算、存储,网络等场景做了重点优化,能够有效满足腾讯云98%应用场景需求。同时,深度定制的CPU,能够实现行业最优单核性能和最优单核TCO;根据测试,星星海可以实现云服务实例综合性能提升35%以上,最大负载能效对比业界可提高50%。

在数据中心方面,第四代数据中心T-block让用户能够以搭积木的方式,快速实现全数据中心的模块化配置及建设,相比于传统大规模数据中心,T-block可以显著减少建设周期和施工成本。同时,由于率先在行业内采用更高效率的制冷和供配电架构,系统能源使用效率得到有效提升。以一个拥有30万台服务器的园区为例,一年可节省2.5亿度电,真正实现绿色数据中心的理念。

类似的自主创新,还体现在计算、存储、数据库等领域。

除了基础设施,大数据在支撑云计算应用上也起着至关重要的作用,腾讯云副总裁蒋杰,数据平台部总经理蒋杰表示:“经过10年的积累,腾讯大数据平台的算力资源池目前已有超过20万台的规模,每天实时数据计算量超过30万亿条,腾讯已经成为中国实时数据计算量最大的公司”。

做到如此庞大的规模,并非一朝一夕之功,从以Hadoop为核心的离线计算时代到以Spark、Storm、Flink为核心的实时计算时代,再到如今的机器学习深度学习时代,腾讯从无到有研发了分布式的机器学习引擎Angel,以及一站式AI开发平台智能钛TI。目前,腾讯正在研究以批流融合、ABC融合、以及数据湖和联邦学习为方向的下一代大数据平台,该平台将具备混合部署、跨域数据共享和边缘计算等能力。

针对目前技术迭代不断加速,企业建设大数据平台和机器学习平台,成本高昂,缺乏专业人才等问题,腾讯已经把网络、存储、数据库等IaaS能力,大数据、机器学习等PaaS的能力,以及上层的图像、语音、NLP、BI等SaaS能力,通过腾讯云对外开放。在大数据和AI两个领域,腾讯推出了以TBDS和智能钛TI为首的双引擎,让每个企业和开发者便捷用上领先的大数据和AI的能力。

开源、共享、创新,三大理念全面支持开发者发展

开发者是腾讯产业互联网的直接建设者,更是推动社会技术发展的重要力量。腾讯云在开发者生态的构建上,秉持开源、分享、创新三大理念,积极拥抱和推动开源,鼓励开发者互相分享、交流,与开发者一起创新。

目前,腾讯共开源了86个项目,覆盖云计算、大数据、AI、安全、小程序等领域,参与贡献的人数超过1000 名,累计在GitHub获得了超过 25万个 Star。

尤其是大数据领域,从2014开始,腾讯将第一代大数据平台的核心,腾讯版的Hive进行了开源,2017年,更是把第三代平台的核心Angel开源。今年,腾讯继续加快了开源的脚步, 2个月前,在ApacheCon 2019上,腾讯面向全球开发者正式宣布开源自身核心平台——实时数据采集平台TubeMQ,并捐献给Apache社区。此次在Techo大会现场,再次重磅宣布正式开源资源管理平台核心TKE和分布式数据库TBase,随着在大数据开源领域的开源逐步加速,腾讯正在成为中国大数据领域开源最全面的厂商。

在外部开源生态上,腾讯还积极支持Linux基金会、Apache基金会、CNCF基金会和OpenStack等多个国际知名的开源社区,成为中国唯一全面支持四大顶级开源基金会的白金赞助商。并通过不断赞助、捐献项目、为开源项目贡献代码、解决问题等各种形式,积极的参与开源社区生态建设。

此外,腾讯云除了开源和Techo开发者大会这样的交流方式之外,还通过线上开发者社区、腾讯云开发者专享扶持活动等构建面向全球开发者的技术对接平台,不断提升腾讯云的整体技术水平和服务能力。未来,腾讯云将以更开放的心态拥抱和回馈社区,为更多的开发者带去便捷、高效的开发体验。

产业大数据腾讯
1
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

边缘计算技术

边缘运算(英语:Edge computing),又译为边缘计算,是一种分散式运算的架构,将应用程序、数据资料与服务的运算,由网络中心节点,移往网络逻辑上的边缘节点来处理。边缘运算将原本完全由中心节点处理大型服务加以分解,切割成更小与更容易管理的部分,分散到边缘节点去处理。边缘节点更接近于用户终端装置,可以加快资料的处理与传送速度,减少延迟。在这种架构下,资料的分析与知识的产生,更接近于数据资料的来源,因此更适合处理大数据。

数据库技术

数据库,简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据运行新增、截取、更新、删除等操作。 所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

云计算技术

云计算(英语:cloud computing),是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机各种终端和其他设备。

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

大数据技术技术

大数据,又称为巨量资料,指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。

腾讯机构

腾讯科技股份有限公司(港交所:700)是中国规模最大的互联网公司,1998年11月由马化腾、张志东、陈一丹、许晨晔、曾李青5位创始人共同创立,总部位于深圳南山区腾讯大厦。腾讯由即时通讯软件起家,业务拓展至社交、娱乐、金融、资讯、工具和平台等不同领域。目前,腾讯拥有中国国内使用人数最多的社交软件腾讯QQ和微信,以及中国国内最大的网络游戏社区腾讯游戏。在电子书领域 ,旗下有阅文集团,运营有QQ读书和微信读书。

http://www.tencent.com/
联邦学习技术

如何在保护数据隐私、满足合法合规要求的前提下继续进行机器学习,这部分研究被称为「联邦学习」(Federated Learning)。

推荐文章