数据专家:下一代大数据和分析技术赋能商业决策

为传统企业转型升级赋能,离不开大数据人工智能技术,本文通过与专家对话,解读下一代大数据和分析技术如何更加深入的应用在商业场景,赋能商业决策。从数据分析技术的层面来看 ,哪些技术的发展是主要的方向趋势,可以让人工智能释放更大潜力,激活数据,创造价值。 

近日,知名调研机构 Gartner 作出预测认为 :增强型数据分析(Augmented Analytics)、增强型数据管理(Augmented data Management)、持续型智能(Continuous Intelligence)和可解释人工智能(Explainable AI)等是下一代数据和分析技术的主要趋势,并在未来3至5年内具有显著的颠覆性潜力。其实这些技术已经开始进入了广泛的实践,品友互动的数据专家详细介绍了这些趋势的功能体现,以及在品友核心数据产品中的应用。

增强型分析的“高维度”洞察,赋能决策智能

增强型分析(Augmented analytics)被认为是数据与分析市场内的下一波颠覆性技术。它利用机器学习人工智能改变分析内容的开发、使用与共享方式。增强型分析的“增强”就是AR(增强现实技术)的“增强”。 

品友互动CTO欧阳辰对增强型分析进行了科普和解释:”增强型分析有两方面的含义:一方面数据分析利用更多的算法模型和计算能力,产生更加深刻的洞察,帮助企业进行更“高维度”的数据分析,自动生成各种可采取行动的建议; 另外一方面,利用平台化分析技术,增强型数据分析大大提升了数据分析效率,降低数据分析的门槛,人人都可以像数据科学家一样,对数据进行多维度的自动钻取,自动加载各种模型进行深度分析。“

增强型分析的主要特征是,能自动执行数据准备、洞察生成与洞察可视化过程,在多种情况下无需专业数据科学家参与其中。基于增强分析的机器学习模型可以嵌入到企业各个环节的应用中,如人力资源、财务、销售、营销、客服、采购以及资产管理部门,可以优化所有员工的决策和行动,而不仅限于分析师和数据科学家。

品友基于AI的决策系统MIP(Marketing Intelligence Platform)正体现了这种数据分析能力,通过技术打通数据,帮助企业进行深刻的市场洞察,从产品定位、目标人群设定到概念测试,完成目标人群选择、创意选择、产品概念测试、媒体策略等环节的决策,解决营销中全链路的决策问题。品友互动创始人兼CEO黄晓南表示,许多企业决策者希望有一个更加清晰明确的一站式综合系统,帮助其进行决策,针对这一“痛点”,品友互动2018年与京东云联手打造了AI营销决策系统 “智麦”,构建一个完整的营销生态体系,通过双方在各自领域的领先优势,打通京东站内数据。解决“数据孤岛”问题、优化投放效率、增强投放的科学性和系统性指导,为企业提供高价值营销解决方案。

MIP产品架构图

另外 ,也有研究表明,增强型分析能力也将成为人机对话分析中的一个重要特性,这是更为新潮的一个范式,业务人员甚至能够通过移动设备和智能终端来接收并输出决策。例如,亚马逊 AI语音助手Alexa 的使用者可能会说: “Alexa,分析我过去三个月的销售结果,并给出优化方案”。

这种技术对数据不仅仅进行“高维度”分析,还可以简化数据处理的过程,帮助企业级的用户快速高效地做出日常决策,开展业务。

持续型智能激活数据背后商业价值

Gartner预计到 2022 年,超过一半的重要新业务系统将采用持续型智能(Continuous Intelligence),使用实时数据来改善决策。 持续型智能采用了多种技术,包括之前提到的增强型分析,以及对事件流处理、优化、业务规则管理、机器学习等。

欧阳辰介绍,持续型智能就是把智能(Intelligence)进行大规模和实时的应用,比如消费者体验场景,我们将人工智能技术应用在每一次消费者与品牌主的触点互动中,包括触点的智能选择,互动内容的智能推荐,数据的实时反馈并参与建模计算,持续型智能帮助人们实现大规模个性化的生活方式”,欧阳辰解释说,这里所说的“智能“融合了数据、算法和云计算技术,这种智能会像涓涓细流一样滋润人们的各种生活方式和互动触点上,同时也会提升整个社会的商业效率

持续型智能最主要的是要实现数据循环反馈,激活数据。想象一个数据的循环系统,如果数据量不够大,数据不流动,都无法形成持续型数据。 品友的数据管理平台(DMP)就能够通过数据逐层优化营销环节,沉淀真实的数据产生应用价值,提升顾客生命周期价值,打通内部的数据孤岛,实现全链路决策输出。

黄晓南介绍,品友已经为许多大型知名企业搭建DMP提供数据服务,许多企业在搭建DMP时出于对数据安全的考虑,更倾向于采用本地部署,不愿意把数据放在云端,但这也失去了搭建DMP的意义,因为DMP是要激活数据价值,如果无法激活客户的第一方数据,也就无法激活数据背后的价值。

品友采用了前瞻性的混合式(Hybrid)解决方案,通过把客户的第一方数据加密后放到云端,与第三方数据整合,激活数据价值后。这样既确保了客户数据的安全性,同时又解决了算法的灵活性,激活数据背后的价值。整个实施的过程更加自动化、透明化、智能化。最后,所有的数据都沉淀下来,作为第一方的用户数据。

同时品友DMP也应用了增强型数据管理(Augmented data Management)技术,利用机器学习功能和 AI 引擎来制作数据管理类别,包括数据质量、元数据管理、主数据管理数据集成以及数据库管理系统的配置和优化。增强型数据管理还自动优化数据审计流程,提升数据管理的自动化程度,提升数据运维管理的效率和智能程度。

人机同行,加速人工智能决策进化速度

可解释型人工智能(Explainable AI)是人工智能在商业应用中十分非常重要一个领域。

人工智能模型越来越多地被用于增强与代替人类决策,但实际上大多数这些先进的人工智能模型都是复杂的黑盒子,无法解释为何提出了某条具体建议或决策。

“目前,很多智能算法都属于黑盒运行,在商业决策场景中,常常会碰到可解释性的问题,一个由智能算法给出的决策建议是否合理、算法是否按照最初的设想进行工作、有没有什么特别的因素干扰决策结果,无法解释这些问题将影响智能决策的科学性。品友在设计商业决策智能产品时,我们充分考虑算法的可解释性,将复杂的算法模型与领域专家的知识体系进行有机的结合:领域专家设置优化目标和整体步骤,计算机算法实现局部的优化,并且白盒化特征的筛选以及计算步骤,对每一步骤中可解释性信息进行可视化,提供给领域专家查看,这样可以充分利用人与机器的各自优势,提升智能的可解释性、可改进性以及可操作性。”

品友DMP中有一个算法是人群的聚类(Cluster)算法,用户可以对算法进行灵活的参数设置,在聚类结果中,我们会将不同人群的特征进行降纬,例如二维或三维,而后通过可视化的投影(Project)评估各种算法结果,并为子人群打上自动标签,以支持进一步的优化。我们希望这个算法能够结合业务人员的知识,一起生成最适合场景的人群自动分类。 

算法可视化也是可解释型人工智能的重要组成。可视化主要面向业务人员,需要更好的方式去理解人工智能的工作模型 ,实现人机同行,能把他们对业务的理解和洞察融入到可解释的人工智能引擎中,人和机器能够实现更好的协作 ,如果让人工智能完全以黑盒运行的话,不利于积累业务知识和反馈。

可解释性AI的目的是让专家更好地把知识反馈进来,人和机器同步的发展,专家知识能够用机器学得更快更准,方向更好,加速进化速度 。一方面,人的知识体系可以定义优化的方向和目标;另一方面,机器可以利用庞大计算能力,在设定好的目标下进行持续优化。两个方面可以有机的结合起来,以业务目标并行来做,这就是:人机同行。

知识图谱加速智能应用,赋能行业决策智能化

有分析师认为数字化颠覆带来的一项挑战——数据太多, 这同样也创造了前所未有的机遇。由云驱动的海量数据将实现更强大的处理能力,意味着现在可以大规模训练与执行算法,最终发挥出人工智能的全部潜力。

面对庞大的数据量,欧阳辰介绍,“品友曾推出了行业首创的营销知识图谱,该知识图谱整合营销专家的系统认知,以及系统中多年算法模型和数据,将营销策略通过节点和边进行建模,利用图数据库进行构建和索引,支持海量营销策略数据的结构化。品友通过大量的数据清洗,歧义消除,自动知识抽取等技术,把过去多年来的营销经验沉淀在知识图谱里,以支持更加精准的定向、效果的预估以及策略自动生成。“。

品友营销知识图谱

品友的的数据湖产品,帮助企业对接多方数据源,包括结构化数据、非结构化数据、视频数据、faceID等, 基于数据湖和数据平台,进行多方的应用和激活 。

同时,Gartner还预测,到2022年,75%利用人工智能机器学习技术的新终端用户解决方案将采用商业解决方案而非开源平台构建。通过加入机器学习与自动化的服务级管理,数据管理手动任务将减少45%。

黄晓南表示,通过AI企业级服务产品全面赋能商业化企业进行全方位的智能决策,是品友互动的重要战略。因此品友也致力于商业人工智能机器学习平台这方面的建设,“简单开源平台不容易解决企业业务,所以我们构建平台化的产品去解决针对不同场景和行业的问题”,行业专家去使用、并用好这个平台,才能真正发挥人工智能的优势。

产业数据科学GartnerAlexa
3
相关数据
亚马逊机构

亚马逊(英语:Amazon.com Inc.,NASDAQ:AMZN)是一家总部位于美国西雅图的跨国电子商务企业,业务起始于线上书店,不久之后商品走向多元化。目前是全球最大的互联网线上零售商之一,也是美国《财富》杂志2016年评选的全球最大500家公司的排行榜中的第44名。

https://www.amazon.com/
相关技术
增强现实技术

增强现实,是指透过摄影机影像的位置及角度精算并加上图像分析技术,让屏幕上的虚拟世界能够与现实世界场景进行结合与互动的技术。这种技术于1990年提出。随着随身电子产品运算能力的提升,增强现实的用途也越来越广。

数据分析技术

数据分析是一类统计方法,其主要特点是多维性和描述性。有些几何方法有助于揭示不同的数据之间存在的关系,并绘制出统计信息图,以更简洁的解释这些数据中包含的主要信息。其他一些用于收集数据,以便弄清哪些是同质的,从而更好地了解数据。 数据分析可以处理大量数据,并确定这些数据最有用的部分。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

数据科学技术

数据科学,又称资料科学,是一门利用数据学习知识的学科,其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术,包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。

数据管理技术

数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程,其目的在于充分有效地发挥数据的作用。

知识图谱技术

知识图谱本质上是语义网络,是一种基于图的数据结构,由节点(Point)和边(Edge)组成。在知识图谱里,每个节点表示现实世界中存在的“实体”,每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲,知识图谱就是把所有不同种类的信息(Heterogeneous Information)连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。 知识图谱这个概念最早由Google提出,主要是用来优化现有的搜索引擎。不同于基于关键词搜索的传统搜索引擎,知识图谱可用来更好地查询复杂的关联信息,从语义层面理解用户意图,改进搜索质量。比如在Google的搜索框里输入Bill Gates的时候,搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月,家庭情况等等。

数据库技术

数据库,简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据运行新增、截取、更新、删除等操作。 所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

云计算技术

云计算(英语:cloud computing),是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机各种终端和其他设备。

大数据技术技术

大数据,又称为巨量资料,指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。

专家设置技术

R1(后来被称为XCON,eXpert CONfigurer的所写,意为专家设置)程序是基于生产规则的系统,由卡内基梅隆大学的John P. McDermott在1978年用OPS5开发。其目的是按照用户的需求,帮助DEC为VAX型计算机系统自动选择组件。XCON的开发继承了两个之前用FORTRAN语言和BASIC语言未成功的尝试完成了一个专家系统。

数据集成技术

数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享。在企业数据集成领域,已经有了很多成熟的框架可以利用。目前通常采用联邦式、基于中间件模型和数据仓库等方法来构造集成的系统,这些技术在不同的着重点和应用上解决数据共享和为企业提供决策支持。

京东机构

京东(股票代码:JD),中国自营式电商企业,创始人刘强东担任京东集团董事局主席兼首席执行官。旗下设有京东商城、京东金融、拍拍网、京东智能、O2O及海外事业部等。2013年正式获得虚拟运营商牌照。2014年5月在美国纳斯达克证券交易所正式挂牌上市。 2016年6月与沃尔玛达成深度战略合作,1号店并入京东。

聚类技术

将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合,这些对象与同一个簇中的对象彼此相似,与其他簇中的对象相异。“物以类聚,人以群分”,在自然科学和社会科学中,存在着大量的分类问题。聚类分析又称群分析,它是研究(样品或指标)分类问题的一种统计分析方法。聚类分析起源于分类学,但是聚类不等于分类。聚类与分类的不同在于,聚类所要求划分的类是未知的。聚类分析内容非常丰富,有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。

推荐文章
暂无评论
暂无评论~