Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

David Foster作者AI前线来源龚力校对王菁 编辑

一文盘点2019年AI领域都发生了什么

本文进行了回顾,对人工智能世界在这一年来发生的事情进行了大盘点。

[ 导读 ]回首即将逝去的 2019 年,在人工智能领域中,都有哪些可圈可点的地方呢?《生成式深度学习》(Generative Deep Learning)(O' Reilly Media 2019 年出版)一书作者 David Foster 为我们进行了回顾,对人工智能世界在这一年来发生的事情进行了大盘点。

2019 年无疑是忙碌的一年。人工智能的进步和新闻频频登上头条新闻,让我们的生活充满了敬畏和自豪的时刻,但一些其他时刻充却斥着一种恼人的想法,那就是这项技术让人们发现,我们的社会并没有准备好迎接人工智能的普及。

2019 年,究竟是人工智能进步的一年,还是幻灭的一年呢?随着研究人员攻城略地,迅速攻克以前难以企及的基准,今天,我们可不可以这样认为,这个领域已经正在步入稳步发展的轨道呢?

在 ADSP(Applied Data Science Partners,意即“应用数据科学合作伙伴”)网站上,我们想后退一步,把2019年的人工智能界发生的事件整理好,以让公众能够有个全新的视角。在聚光灯下,重要的是要将一项工作最初吸引人们的兴趣,与它的实际重要性,以及它对该领域产生的影响区分开来。为此,本文将展开人工智能故事的平行线索,并试图分离出它们的意义。多亏了我们出色的内容作家 Elena Nisioti,她将这些故事讲得如此精彩!

让我们坐下来,一起回顾2019年的人工智能领域的方方面面。

处在文艺复兴时期的领域

如果让我们用一句话来描述2019年的人工智能现状,那很可能是:“强化学习(Reinforcement Learning )回归,看起来将永存”。

到目前为止,我们中的大多数人可能已经熟悉了监督式学习(Supervised Learning),有些人收集了大量的训练数据,将它们馈送到机器学习算法中,然后得到一个模型,这个模型可以为我们进行 预测和分类。我们中的一些人甚至可能有这样的印象:即,人工智能就是监督式学习的同义词,然而监督式学习只不过是我们今天拥有的众多类型的机器学习中的一种罢了。

强化学习(Reinforcement Learning,RL)中,智能体用试错的方法,通过与环境进行交互来学习,这种环境会给它们的行为提供奖励回报。当涉及到多个智能体时,它们被称为多智能体强化学习系统(Multi-agent Reinforcement Learning System)。

这个领域已经存在几十年,从概念上来讲,它听起来比监督式学习更像是一种合理的创造智能的学习机制。然而,直到2015年,DeepMind 才获得了人们的关注,当时 DeepMind 使用深度Q学习(Deep Q-learning)创建了Atari(雅达利)游戏的智能体,这是一种结合了经典强化学习算法和深度神经网络的算法。2018年,OpenAI也通过解决Montezuma’s Revenge(一款被认为难度特别高的 Atari 游戏),从而在这一领域确立了自己的地位。

在过去的几个月里,事态升级了:
这些工作重新唤起了学术界对强化学习的信念,在过去,人们曾经认为强化学习效率低下,过于简单,无法解决复杂的问题,甚至连游戏的问题也不能解决。

今年,另一个大受欢迎的应用是自然语言处理(Natural Language Processing,NLP)。尽管研究人员在这一领域工作了几十年,但近些年的自然语言处理系统生成的文本听起来还是不够自然。自 2018 年底以来,人们的注意力已经从过去的词嵌入转移到 预训练语言模型,这是自然语言处理计算机视觉中借鉴来的一种技术。这些模型的训练是以非监督的方式进行的,这使得现代系统能够从互联网上的大量文本中进行学习。因此,这些模型变得“博闻强识”,并发展出了理解上下文的能力。然后,可以通过监督式学习进一步提高它们在特定任务上的表现。这种通过在不同任务上训练机器学习模型来改进模型的做法,属于迁移学习(transfer learning)的范畴,被认为具有巨大的潜力。

自去年 Google BERT、ELMo和ulmfit 等系统在 2018 年底推出以来,自然语言处理一直风头正茂,但今年的聚光灯被 OpenAI GPT-2 给“夺走了”,它的表现引发了人们对 自然语言处理系统的道德使用的大讨论。

实践走向成熟

今年,人们也见证了最近一些深度学习技术走向成熟。应用监督式学习,特别是 计算机视觉 技术,已经催生了现实生活中成功的产品和系统。

生成对抗网络(Generative Adversarial Networks,GAN)是一对神经网络,其中,生成器网络试图通过学习生成模仿训练数据的图像来欺骗判别器网络,现在已经达到了近乎完美的水平。人工智能来说,创造虚假但又逼真的人物和物体的图像,已经不再是前沿领域了。从2014年生成对抗网络的引入 到 2019 年 NVDIA 开源的 StyleGAN,一图胜千言,我们用下面的图片来说明,这可能是理解该领域进展情况的最佳方式:
2019 年,人工智能创造的艺术品甚至脱离了过去几年的假设性讨论,成为了今天博物馆装置和拍卖 的一部分。

计算机视觉还被应用于一些具有重大商业和社会意义的领域,包括自动驾驶车辆和医学。但是,人工智能算法在这些领域中的应用自然是缓慢的,因为它们直接与人类生活直接互动。至少到目前为止,这些系统还 不是完全自主的,它们的目的,在于支持和 增强 人类操作员的能力。

研究团队正与医院密切合作,开发用于疾病早期预测的人工智能系统,并整理大量的健康数据档案,其中一个值得注意的例子,是DeepMind Health和UCLH之间正在进行的合作。然而,这些工作中的大部分仍处于试验阶段,迄今为止,唯一获得 FDA 批准的人工智能系统是SubtlePet,这是一款使用深度学习增强医学图像的软件。

沉睡的巨人

AutoML 是机器学习的子领域之一,自20世纪90年代以来就一直存在,在2016年引起了人们的极大兴趣,但不知何故从未登上头条新闻,至少不像其他人工智能趋势那样。也许这是因为它并不那么花哨的性质:AutoML 的目的是通过自动化决策来使机器学习的实践更有效,而今天数据科学家是通过手动蛮力调优做出的决策。

在过去三年中,我们对这一领域的理解已经发生了变化,今天,大多数大公司都提供了 AutoML 工具,包括 Google Cloud AutoML、Microsoft Azure、Amazon Web Service 和 DataRobot 等。今年,随着 学习进化人工智能框架(Learning Evolutionary AI Framework,LEAF)成为最先进的人工智能技术,人们的兴趣转向了“进化”(Evolutionary)方法。然而,AutoML 还没有达到可以让一个完全自动化的人工智能系统比人工智能专家团队执行更好的成熟水平。

人工智能的担忧

尽管取得了压倒性的成功,但今年人工智能领域也给我们带来了一些令人沮丧的故事。其中主要问题之一是 机器学习模型中的偏见,这一问题直到 2018 年才显现出来,当时 Amazon 发现他们的 自动招聘系统中存在性别偏见,而美国法院广泛使用的判决工具 COMPAS 也被发现存在性别和种族的偏见。

今年案件的数量有所增加,这可能表明,公众和机构对用于自动化决策的现有人工智能系统越来越怀疑。以下是图景的一小部分:
  • 今年 10 月份,某医院的算法被发现对黑种人患者存有偏见。
  • 去年 10 月,某人权组织指责用于发放英国签证的人工智能系统存在种族偏见。
  • 今年 11 月,Apple 的信用评分系统被客户指责存有性别偏见。

偏见是一个特别令人担忧的问题,因为它位于监督式深度学习的核心中:当有偏见的数据被用于训练,且预测模型无法 解释 时,我们不能真正判断出是否存有偏见。迄今为止,学术界的反应一直是致力于开发技术,以了解深度模型决策背后的原因,但专家警告称,如果我们采用正确的实践方法,那么许多问题都可以迎刃而解。Google Cloud Model Cards是最近的一次尝试,旨在使组织社区走向开源模式,同时明确描述其性质和局限性。

今年另一个让人担忧的发现是,当一项技术变得越复杂时,它被滥用的可能性就越大。Deepfake就是生成对抗网络的阴暗面,深度学习算法被用来在纯粹虚构的场景中创建涉及真实人物的图片或视频。人们不难看出,这项技术如何被用于传播虚假新闻,从政治宣传到欺凌。这个问题单靠科学家是无法解决的,历史已经证明,科学家并不善于预测他们的发现对现实生活的影响,更不用说控制它们了,这需要社会各界进行广泛的对话。

今天的人工智能有多强大?

如今,要量化人工智能的价值真的很困难。但有一点是可以肯定的:人工智能已经脱离了科幻小说和前卫计算机科学的领域,现在,人工智能已成为社会不可分割的一部分,人们对人工智能进行了大量的投资。

今年早些时候,三名主要的深度学习研究人员获得了图灵奖,这是对人工智能作为计算机科学的一个领域的认可,而人们对此期待已久。

作者介绍:

David Foster,Applied Data Science 创始合伙人,《生成式深度学习》(Generative Deep Learning)(O' Reilly Media 2019 年出版)一书作者。

原文链接:

https://www.linkedin.com/pulse/2019-review-what-just-happened-world-artificial-david-foster/

THU数据派
THU数据派

THU数据派"基于清华,放眼世界",以扎实的理工功底闯荡“数据江湖”。发布全球大数据资讯,定期组织线下活动,分享前沿产业动态。了解清华大数据,敬请关注姐妹号“数据派THU”。

产业AI领域
2
相关数据
DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年,最初名称是DeepMind科技(DeepMind Technologies Limited),在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯,谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后,Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏,例如即时战略游戏《星际争霸II》(StarCraft II)。深度AI如果能直接使用在其他各种不同领域,除了未来能玩不同的游戏外,例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作,基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

https://deepmind.com/
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

词嵌入技术

词嵌入是自然语言处理(NLP)中语言模型与表征学习技术的统称。概念上而言,它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中,每个单词或词组被映射为实数域上的向量。

数据科学技术

数据科学,又称资料科学,是一门利用数据学习知识的学科,其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术,包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

深度Q学习技术

Q学习是一种无模型(model-free)的强化学习方法,学习如何在给定(有限)马尔可夫决策过程(MDP)找到最优的动作选择策略。Q学习算法的核心是根据旧的Q值和新的Q值估计进行权重平均的一个值迭代更新(value iteration update)迭代更新的Q函数最终给出了主体在给定状态下采取给定行动的预期效用,当这种行动价值函数被学习时,主体可通过简单地选择在每个状态中具有最高价值的行为来构建最优策略(optimal policy)。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

迁移学习技术

迁移学习是一种机器学习方法,就是把为任务 A 开发的模型作为初始点,重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务,虽然大多数机器学习算法都是为了解决单个任务而设计的,但是促进迁移学习的算法的开发是机器学习社区持续关注的话题。 迁移学习对人类来说很常见,例如,我们可能会发现学习识别苹果可能有助于识别梨,或者学习弹奏电子琴可能有助于学习钢琴。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

生成对抗网络技术

生成对抗网络是一种无监督学习方法,是一种通过用对抗网络来训练生成模型的架构。它由两个网络组成:用来拟合数据分布的生成网络G,和用来判断输入是否“真实”的判别网络D。在训练过程中,生成网络-G通过接受一个随机的噪声来尽量模仿训练集中的真实图片去“欺骗”D,而D则尽可能的分辨真实数据和生成网络的输出,从而形成两个网络的博弈过程。理想的情况下,博弈的结果会得到一个可以“以假乱真”的生成模型。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

深度神经网络技术

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

DataRobot机构

DataRobot 是一家位于美国波士顿的机器学习平台公司,其提供的机器学习平台可让任何水平的数据科学家「只需一点时间就能开发和部署准确的预测模型」。该公司于2017年3月完成了 C 轮融资,获得了由 New Enterprise Associates 领投的 5400 万美元资金。据 Crunchbase 统计,截至目前该公司已经完成了 5 轮融资,共获得了 1.11 亿美元投资。 DataRobot 由数据科学家 Jeremy Achin 和 Thomas DeGodoy 于 2012 年创立。据报道,DataRobot 平台上有数百个开源机器学习算法,能帮助数据科学家将原本需要数周乃至数月的开发过程大幅缩短。该公司的 COO Chris Devaney 介绍说:「数据科学家可以带着他们已有的模型,进入有很多开源模型的 DataRobot,看他们的模型的排名。因为只需要几分钟就能找到最佳的模型,你可以运行和重新运行这样的比较,从而每天或每周都能找到最准确的模型,这依赖于你自己的业务变化。」到目前为止,DataRobot 已经创造了超过 1.5 亿个预测模型,客户范围涵盖体育、银行、保险和医疗等领域。

http://datarobot.com/
相关技术
ELMo技术

ELMO 是“Embedding from Language Models”的简称, ELMO 本身是个根据当前上下文对 Word Embedding 动态调整的思路。ELMO 采用了典型的两阶段过程,第一个阶段是利用语言模型进行预训练;第二个阶段是在做下游任务时,从预训练网络中提取对应单词的网络各层的 Word Embedding 作为新特征补充到下游任务中。

GPT-2技术

GPT-2是OpenAI于2019年2月发布的基于 transformer 的大型语言模型,包含 15 亿参数、在一个 800 万网页数据集上训练而成。据介绍,该模型是对 GPT 模型的直接扩展,在超出 10 倍的数据量上进行训练,参数量也多出了 10 倍。在性能方面,该模型能够生产连贯的文本段落,在许多语言建模基准上取得了 SOTA 表现。而且该模型在没有任务特定训练的情况下,能够做到初步的阅读理解、机器翻译、问答和自动摘要。

生成对抗技术

生成对抗是训练生成对抗网络时,两个神经网络相互博弈的过程。两个网络相互对抗、不断调整参数,最终目的是使判别网络无法判断生成网络的输出结果是否真实。

推荐文章
暂无评论
暂无评论~