Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

阿里云开源“计算王牌”Blink,实时计算时代已来

1月28日,阿里云宣布将旗下的计算王牌Blink开源给社区,消息一出引起了业界一阵热议。

阿里Blink正式开源

data Artisans(Flink创始公司) CTO Stephan Ewen表示,“阿里巴巴是Flink最大的贡献者,很高兴阿里能将内部优化的Flink版本开源给社区,让开发者享受到更先进的计算能力。” 

据了解,Blink由当下最受欢迎的实时计算技术Flink改造而来。与此同时,阿里为Flink社区贡献近20万行代码改动,而这些改进也将计算能力推向了巅峰,计算延迟降低到人类无法感知的毫秒级,并且可以实现每秒17亿次的处理能力,目前还没有哪家企业做到这一水平。

据悉,阿里巴巴集团内部核心业务全部用上了Blink,例如ET城市大脑实时计算着杭州1300个信号灯路口、4500路视频,保障着交通动脉的通畅;淘宝、天猫每天为数亿用户展现实时的“专属”页面。

企业已迈进实时计算时代

数据是各行业企业的核心资产,如何应对指数级增长的数据一直都是学术界和工业界关注的焦点。过去十余年,工业界经历了多个技术的迭代。谷歌最早发布的 GFS、BigTable、MapReduce 三篇论文开启了大数据计算的篇章,但早期诸如MapReudce之类的计算技术都是离线计算,即只能针对海量数据进行定时计算,使用场景也较为有限;2009年, 随着Spark项目诞生于伯克利大学的AMPLab实验室,让数据实时处理变成可能;但谁也没意料到,2014年诞生的Flink真正让“实时计算”发挥到了极致,并成为最受欢迎的开源项目之一。

毫无疑问,离线计算依旧有其发挥空间,但实时计算的应用场景正在不断扩大。例如,对时效性要求极高的金融交易场景里,风控系统如果不能实时观察每一个账户的行为动态,就可能因为1秒的延迟遗漏风险,无法阻断危险交易,造成消费者损失。从2010年谷歌决定弃用MapRduce可以看出,实时计算已是大势所趋。

目前,全球顶尖的科技公司都在积极布局实时计算技术,其中Flink和Spark是两大主流的技术方向。二者看似类似,但两者有本质的区别,Spark更侧重用批来模拟流的离线计算理念,而Flink则完全相反。

“从技术发展方向看,用批来模拟流有一定的技术局限性,并且这个局限性可能很难突破。而Flink基于流来模拟批,在技术上有更好的扩展性。”这也是阿里、Uber、Netflix等公司选择这一技术方向的主要原因。

Flink 已经被业界公认是最好的流计算引擎,然而 Flink 的计算能力不仅仅局限于做实时计算,其似乎走得是一条全能的技术路线。在2018年12月举行的Flink Forward大会上,Stephan指出Flink一方面需要朝着离线方向发展,实现批流融合大数据计算能力,另一方面也需要朝着更加实时在线方向发展。

技术的完整性也让越来越多的企业开始选择Flink。据第三方调查报告显示, 2018年,Flink的采用量增长了125%,是过去一年大数据和 Hadoop 生态系统中发展最快的技术。

理论阿里巴巴开源
3
相关数据
感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

MapReduce技术

MapReduce,一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)",是其主要思想,皆从函数式编程语言借用。它还借用了矢量编程语言的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(归约)函数,用来保证所有映射的键值对中的每一个共享相同的键组。

大数据技术技术

大数据,又称为巨量资料,指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。

阿里云机构

阿里云创立于2009年,是全球领先的云计算及人工智能科技公司,致力于以在线公共服务的方式,提供安全、可靠的计算和数据处理能力,让计算和人工智能成为普惠科技。 阿里云服务着制造、金融、政务、交通、医疗、电信、能源等众多领域的领军企业,包括中国联通、12306、中石化、中石油、飞利浦、华大基因等大型企业客户,以及微博、知乎、锤子科技等明星互联网公司。在天猫双11全球狂欢节、12306春运购票等极富挑战的应用场景中,阿里云保持着良好的运行纪录。 阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。 2014年,阿里云曾帮助用户抵御全球互联网史上最大的DDoS攻击,峰值流量达到每秒453.8Gb 。在Sort Benchmark 2016 排序竞赛 CloudSort项目中,阿里云以1.44$/TB的排序花费打破了AWS保持的4.51$/TB纪录。在Sort Benchmark 2015,阿里云利用自研的分布式计算平台ODPS,377秒完成100TB数据排序,刷新了Apache Spark 1406秒的世界纪录。 2018年9月22日,2018杭州·云栖大会上阿里云宣布成立全球交付中心。

https://www.aliyun.com/about?spm=5176.12825654.7y9jhqsfz.76.e9392c4afbC15r
阿里巴巴机构

阿里巴巴网络技术有限公司(简称:阿里巴巴集团)是以曾担任英语教师的马云为首的18人于1999年在浙江杭州创立的公司。

https://www.alibabagroup.com/
推荐文章
暂无评论
暂无评论~