Gartner 2019年十大数据和分析技术趋势:增强型分析成为重要卖点

处于数据和分析位置的领导人必须审视这些趋势对业务带来的潜在影响,并相应调整业务模式和运营,否则就有可能失去竞争优势。

增强型数据分析,增强型数据管理,持续型智能,可解释的 AI,数据结构,NLP/对话式分析,商业 AI 和 ML,区块链和持久性内存服务器共同构成了 Gartner 2019 年十大「数据和分析技术趋势」。

最近两天里,2 月 18 日-19 日,在悉尼举行的 Gartner 数据与分析峰会上,增强型数据分析和可解释的人工智能成为焦点。

知名调研机构 Gartner 称,增强型数据分析、持续型智能和可解释的人工智能(AI)是数据和分析技术的主要趋势之一,并在未来三到五年内具有显著的颠覆性潜力。

Gartner 副总裁兼杰出分析师 Donald Feinberg 认为,数字化颠覆带来的挑战——数据太多——也创造了前所未有的机遇。大量数据和由云实现的日益强大的处理能力意味着现在可以大规模地训练和执行必要的算法,以最终兑现出 AI 的全部潜力。

Donald 表示,「任何企业的持续生存都将取决于灵活的,以数据为中心的架构,以响应不断变化的速度。」

他还谈道,「数字化业务需要大量复杂且分布式的数据、迅速行动以及持续型智能,这意味着僵化且集中式的架构和工具分崩离析。」

Gartner 研究副总裁 Rita Sallam,数据和分析领导者必须审视这些趋势对业务带来的潜在影响,并相应调整业务模式和运营,否则就有可能失去竞争优势。

「数据和分析的形势不断发展,从支持内部决策到持续型智能,信息产品和任命首席数据官,」Rita 说道,「深入了解它们对于推动这种不断变化的技术趋势,并根据业务价值对它们进行优先排序至关重要。」

Gartner 建议数据和分析领导者与高级业务负责人讨论他们的关键业务优先级,并探索以下主要趋势如何实现这些优先级。

趋势 1:增强型数据分析(Augmented Analytics)

作为数据分析的高级增强阶段,增强分析能为分析计划带来更多自动化动能以及创新洞察力。因为在正式进入数据分析之前,都需要对数据进行抽取、清洗、融合等准备工作,以提高数据分析的效率和准确性,更利于决策。而增强分析则能够帮助普通用户在没有数据科学专家或IT人员协助的情况下,访问有效数据,并对理论和假设情况展开测试与验证。

增强型数据分析侧重于增强智能的特定领域,利用机器学习(machine learning)转变分析内容的开发、使用与共享方式。

目前国内正在加强这一技术突破的包括几大数据计算厂商,如阿里云百度云、华为云等,通过对百万数据的计算与汇聚,实现对现实算力的优化,以在未来如智慧大脑领域实现更多突破。

Gartner预测,到 2020 年,增强分析将成为分析和商业智能解决方案的主要卖点,相关业务负责人应该在平台功能趋于成熟时率先采用增强型分析。

机器学习人工智能、增强型分析将为数据和分析市场带来颠覆,因为它将彻底改变开发、消费和共享分析内容的方式,可使数据准备、洞察力获取和洞察力可视化这个过程实现自动化,在许多情况下无需专业的数据科学家。

趋势 2:增强型数据管理(Augmented data Management)

增强型数据管理利用机器学习功能和 AI 引擎来制作数据管理类别,包括数据质量、元数据管理、主数据管理数据集成以及数据库管理系统(DBMS)自我配置和自我调整。

增强型数据管理将元数据由仅用于审计、沿袭和报告变成支持动态系统。元数据正在从被动变为主动,并且正在成为所有 AI / ML 的主要驱动因素。

它可以自动执行许多手动任务,为技术水平较低的用户提供使用数据的机会。它还有助于高技能的技术资源专注于更多的增值任务。

趋势 3:持续型智能(Continuous Intelligence)

持续性数据不仅仅是一种实时数据的新方式;相反,它是一种设计模式,其中实时分析与业务运营相结合,处理当前和历史数据以规定响应事件的行动。

它提供决策自动化或决策支持。持续型智能利用多种技术,比如增强型分析、事件流处理、优化、业务规则管理和机器学习

「持续型智能代表了数据和分析团队工作的重大变化,」Gartner 研究副总裁丽 Sallam 人文,「分析和 BI(商业智能)团队在 2019 年帮助企业做出更明智的实时决策,这是一个巨大的挑战 - 也是一个巨大的机会。它可以被看作是运营商业智能的终极目标。」

到 2022 年,超过一半的重要新业务系统将采用持续性智能,使用实时上下文数据来改善决策。

趋势 4:可解释的 AI(Explainable AI)

人工智能模型越来越多地用于增强和取代人类决策。但 AI 解决方案如何解释为什么他们得出某些结论?

大多数这些先进的 AI 模型都是复杂的黑盒子,无法解释他们为何达到特定的推荐或决定。

这是可解释的人工智能的用武之地。

比如说,数据科学机器学习平台中的可解释型AI可自动生成模型的解释,用自然语言从准确性、属性、模型统计和特征等方面解释模型。

趋势 5:图形分析(Graph)

图形分析是一组分析技术,可帮助企业探索交易,流程和员工等实体之间的关系。

到 2022 年,图形处理和图形数据库管理系统的应用将以每年 100%的速度增长。

根据 Gartner 的说法,图形数据存储可以跨数据孤岛有效地建模,探索和查询数据,但是对专业技能的需求限制了它们的采用。

由于需要在复杂数据中提出复杂问题,图形分析将在未来几年内增长,这在使用 SQL 查询时并不总是切实可行或甚至可能。

趋势 6:数据结构(Data Fabric)

数据结构都是关于单一且一致的数据管理框架。它着眼于在分布式数据环境中实现无摩擦访问和数据共享,而不是孤立存储。

到 2022 年,定制数据结构配置将主要用作静态基础架构,迫使组织进入新一波的成本控制浪潮,以完全重新设计更动态的数据网格方法。

趋势 7:NLP /会话分析(NLP/Conversational Analytics)

到 2020 年,50%的分析查询将通过搜索、自然语言处理(NLP)或语音生成,或者将自动生成。

分析复杂的数据组合并使组织中的每个人都可以访问分析的需求将推动更广泛的采用,使分析工具将如同搜索界面或与虚拟助手的对话一样简单。

根据另一项单独研究,NLP 用例非常庞大,预计到 2020 年 NLP 市场价值将达到 134 亿美元。

趋势 8:商用的人工智能机器学习(Commercial AI and ML)

到 2022 年,75%利用 ML 和 AI 技术的新终端用户解决方案将采用商业解决方案,而非开源平台的方式构建。

商业供应商已经在开源生态系统中创建了连接器,它们为组织提供了扩展 AI 和所需的功能,例如项目和模型管理、透明度、复用、数据沿袭、平台凝聚力以及开源技术所缺乏的集成。

趋势 9:区块链(Blockchain)

企业可以使用区块链来解决数据管理问题吗?

数据管理对 CTO 来说是一个持续不断的挑战,但 Bluzelle 首席执行官 Pavel Bains 认为区块链技术可以提供解决方案。

区块链和分布式账本技术的核心价值主张是在不受信任的参与者网络中提供去中心化的信任。区块链对于数据分析的潜在影响很大,尤其是对利用参与者关系和交互的那些企业的影响。

然而,在四到五个主要区块链技术成为主导之前,还需要几年时间。

但是,区块链是数据源,而不是数据库,不会取代现有的数据管理技术。

趋势 10:持久性内存服务器(Persistent Memory Servers)

持久存储器技术旨在降低采用内存计算(IMC)的架构的成本和复杂性。持久性内存代表 DRAM 和 NAND 闪存之间的新内存层,可为高性能工作负载提供经济高效的大容量内存。

「数据量正在激增,实时将数据转化为价值的紧迫性正以同样快的速度增长,」Donald 表示,「新的服务器工作负载不仅要求更快的 CPU 性能,还要求大容量内存和更快的存储系统。」

产业NLP区块链Gartner
32
相关数据
华为机构

华为成立于1987年,是全球领先的ICT(信息与通信)基础设施和智能终端提供商。华为的主要业务分布在无线、网络、软件、服务器、云计算、人工智能与大数据、安全、智能终端等领域,发布了5G端到端解决方案、智简网络、软件平台、面向行业的云解决方案、EI企业智能平台、新一代FusionServer V5服务器、HUAWEI Mate等系列智能手机、麒麟系列AI芯片等产品。目前华为拥有18万员工,36所联合创新中心,14所研究院/所/室,业务遍及170多个国家和地区。

http://www.huawei.com/cn
区块链技术

区块链是用分布式数据库识别、传播和记载信息的智能化对等网络, 也称为价值互联网。 中本聪在2008年,于《比特币白皮书》中提出“区块链”概念,并在2009年创立了比特币社会网络,开发出第一个区块,即“创世区块”。

数据分析技术

数据分析是一类统计方法,其主要特点是多维性和描述性。有些几何方法有助于揭示不同的数据之间存在的关系,并绘制出统计信息图,以更简洁的解释这些数据中包含的主要信息。其他一些用于收集数据,以便弄清哪些是同质的,从而更好地了解数据。 数据分析可以处理大量数据,并确定这些数据最有用的部分。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

数据科学技术

数据科学,又称资料科学,是一门利用数据学习知识的学科,其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术,包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。

商业智能技术

商业智能(Business Intelligence,BI),又称商业智慧或商务智能,指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。

数据管理技术

数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程,其目的在于充分有效地发挥数据的作用。

数据库技术

数据库,简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据运行新增、截取、更新、删除等操作。 所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

大数据技术技术

大数据,又称为巨量资料,指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。

查询技术

一般来说,查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域,查询指的是数据库和信息系统对信息检索的精确要求

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。 它给观测值和标注数据序列指定一个联合概率分布。 在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。

数据集成技术

数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享。在企业数据集成领域,已经有了很多成熟的框架可以利用。目前通常采用联邦式、基于中间件模型和数据仓库等方法来构造集成的系统,这些技术在不同的着重点和应用上解决数据共享和为企业提供决策支持。

阿里云机构

阿里云创立于2009年,是全球领先的云计算及人工智能科技公司,致力于以在线公共服务的方式,提供安全、可靠的计算和数据处理能力,让计算和人工智能成为普惠科技。 阿里云服务着制造、金融、政务、交通、医疗、电信、能源等众多领域的领军企业,包括中国联通、12306、中石化、中石油、飞利浦、华大基因等大型企业客户,以及微博、知乎、锤子科技等明星互联网公司。在天猫双11全球狂欢节、12306春运购票等极富挑战的应用场景中,阿里云保持着良好的运行纪录。 阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。 2014年,阿里云曾帮助用户抵御全球互联网史上最大的DDoS攻击,峰值流量达到每秒453.8Gb 。在Sort Benchmark 2016 排序竞赛 CloudSort项目中,阿里云以1.44$/TB的排序花费打破了AWS保持的4.51$/TB纪录。在Sort Benchmark 2015,阿里云利用自研的分布式计算平台ODPS,377秒完成100TB数据排序,刷新了Apache Spark 1406秒的世界纪录。 2018年9月22日,2018杭州·云栖大会上阿里云宣布成立全球交付中心。

https://www.aliyun.com/about?spm=5176.12825654.7y9jhqsfz.76.e9392c4afbC15r
百度机构

百度(纳斯达克:BIDU),全球最大的中文搜索引擎、最大的中文网站。1999年底,身在美国硅谷的李彦宏看到了中国互联网及中文搜索引擎服务的巨大发展潜力,抱着技术改变世界的梦想,他毅然辞掉硅谷的高薪工作,携搜索引擎专利技术,于 2000年1月1日在中关村创建了百度公司。 “百度”二字,来自于八百年前南宋词人辛弃疾的一句词:众里寻他千百度。这句话描述了词人对理想的执着追求。 百度拥有数万名研发工程师,这是中国乃至全球最为优秀的技术团队。这支队伍掌握着世界上最为先进的搜索引擎技术,使百度成为中国掌握世界尖端科学核心技术的中国高科技企业,也使中国成为美国、俄罗斯、和韩国之外,全球仅有的4个拥有搜索引擎核心技术的国家之一。

http://home.baidu.com/
区块链技术技术

所谓区块链技术,简称BT(Blockchain technology),也被称之为分布式账本技术,是一种互联网数据库技术,其特点是去中心化、公开透明,让每个人均可参与数据库记录

推荐文章
请问可以转载吗?会注明出处,谢谢
机器之心・资深记者
可以的。