人工智能在数据分析上超越人类直觉,数据科学家即将失业

通常,数据科学家们建立模型,来解释和预测当今世界“大数据”中的模式。这些数据科学家目前相当稀缺,人工智能可能会缓解这个问题。最近一个麻省理工学院创业公司的计算机软件,在同数据科学家们竞争时,比大部分科研人员能更好地建立预测模型。 到现在,数据科学家还是依靠他们的直觉塑造和测试计算机模型,来解释和预测数据中的模式。但是,MIT的“数据科学计算机”软件(Data Science Machine software)通过鉴别原始数据中的相关特性,能够全自动地建立预测模型。这个工具能够帮助数据科学家更有效率地建立和检测预测模型,节省大量开发时间。在没有数据科学家的帮助下,它也能够帮助个人和企业,利用大数据的力量。 Max Kanter, 一位来自MIT计算机科学和AI实验室的数据科学家,同时也是“数据科学计算机”软件的联合创始人,他在IEEE会刊的报道中指出:“我认为它的最大潜能在于增加了掌握数据科学人的数量。数据科学人才的需求量,远远超过了现今数量”。 基于最近的2~12个小时的原始数据集,“数据科学计算机”能自动完善预测模型;同样的工作,可能要花费数据科学家几个月的时间。在10月19日到21日的巴黎IEEE数据科学和先进分析方法的国际会议上,有关“数据科学计算机”软件的论文将会发表。 受过训练的数据科学家,虽然薪水高达10万美金,但对于Facebook和Walmat等各行业公司,仍然是一个稀缺的资源。2011年,麦肯基全球研究院估计,仅仅美国,就面临着14万到19万有数据科学相关分析能力的人才空缺。2012年,《哈佛商业评论》曾报道,数据科学家是21世纪最有魅力的工作。 对数据科学家的需求如此之高的原因是由于大数据革命性的愿景。利用巨大的数据集合解释和预测模式——无论是社会媒体用户的网上行为,金融市场的价值数万亿美元资金流动,或 望远镜发现的数十亿天体。这样的模型可以帮助企业预测个人客户的未来行为,或者用来帮助天文学家自动识别一个繁星夜空的物体。 但如何将原始数据转换成信息,帮助企业或研究人员识别和预测模式?数据科学家们通常要花费数周或数月来准备他们的计算机预测算法。首先,他们筛选确定原始数据的关键变量帮助预测相关行为。然后在一系列的计算机模型,他们使用机器学习技术,不断测试和完善这些变量。 正是这个数据科学家工作的耗时部分,启发了一位麻省理工学院的研究生Kanter和他的导师Kalyan Veeramachaneni(麻省理工学院计算机科学和人工智能实验室研究员)。他们尝试创建了一个计算机程序,自动来找出数据科学中的最大瓶颈。 以前的计算机软件程序,旨在一个维度上去解决一些数据科学问题。所谓一个维度,也就是指一些特定行业或领域的特定问题。但是Kanter 和Veeramachaneni希望他们的“数据科学计算机”软件能解决任何数据科学的通用问题。特别是Veeramachaneni,他利用自己的经验,看到了许多行业的数据科学问题类似地方,而这些问题是他曾在麻省理工学院研究的方向。 上述这些研究经验,有助于第一台“数据科学计算机”的研制成功。“数据科学计算机”完成了从原始数据中,识别和提取相关变量这一“功能自动化”过程。MIT新软件的第二部分专注于自动调谐:从数据中找出最佳的一组参数,来生成的最佳预测。这种情况下,软件根据变量之间的关系和模型预测,选择一个最相关的子集变量和最好的机器学习技术。 “数据科学机器”软件完成后,Kanter和Veeramachaneni在三个不同的数据科学竞赛上测试了软件:KDD Cup 2014,IJCAI和KDD Cup 2015。 最终在这些比赛中,“数据科学计算机”软件打败了906支队伍中的615支。它分别在每场竞争中实现了预测准确度,分别为94%,96%和87%,被当作获胜的模型。这也意味着“数据科学计算机”背后的人工智能,可能还没有击败人类数据的顶级科学家,但它可以相当容易就能达到许多数据科学家的工作量。 “通常,数据科学计算机比许多人类确实很好,但有些人能打败它,”Kanter指出,“所以说人类数据科学家没有任何价值的话,这也太天真了”。 Kanter和Veeramachaneni将“数据科学计算机”视为一个自动化的工具,它可以使数据科学家更有效率,而不是让科学家们完全置身事外。Kanter和Veeramachaneni已经开始调整软件,允许更多的人类控制,而不是简单地无人化操作。 例如,数据科学家可以运行“数据科学计算机”,使用它的结果作为基准,来构建一个更好的预测模型。或者数据科学家可以更加关注工程特性方面,让“数据科学计算机”学习优化软件。 但“数据科学计算机”可能更具破坏性的一面,可能来自授权所有的公司还没有在工资单方面,训练数据科学家。无论大小公司,都可以从大数据中获益,但没有数据训练的科学家团队,除非是一些著名的科技公司,如谷歌或亚马逊。“数据科学计算机”的效率对于一个在大学实验室工作的天文学家,或着一个尚未真正建立一个数据科学团队营销部门的传统零售业务,可能已经足够好。Kanter 指出:
在未来的世界,每个公司都会伴随数据驱动的决策,你不能让现有的数据科学家更有效;你还必须增加可以成为数据科学家人的数量。我认为,训练每个人使其成为数据科学家,这并不是解决问题的办法。而是通过建立新的工具,让机器和人类各自发挥其所长。
某种意义上,“数据科学计算机”可以把任何一家公司变成“科技公司”,使其关键业务的决策和新产品都基于大数据,Kanter 说。软件可能蔓延跨部门大数据之间的影响,如电子商务,集资,零售,教育,金融服务和政府等方面。为此,Kanter 和Veeramachaneni已经通过一家名为FeatureLab的公司,来吸引客户。网站起始页向访问者展示了一条信息:“你的数据处理越多,数据科学家需求量就会越少”。   来自IEEE,作者 Jeremy Hsu,机器之心编译出品。编译:黄志臻。
入门
返回顶部