Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

2020年AI将会如何发展?吴恩达邀请周志华、Yann LeCun等人进行了一番预测

终于,我们开启了 2020 年的进度条,在新的一年里 AI 领域将会有怎样的发展?我们需要听听各位学界大牛的预测。

Coursera 联合创始人、斯坦福大学副教授吴恩达创办的 deeplearning.ai 刚刚发布了最新一期文章,其中不仅有周志华、Yann LeCun 等人对于新年 AI 发展趋势的预测,还有著名学者们对于整个研究社区的期许。

新年快乐!

每个元旦假期,我都会围绕一个新主题展开学习。今年我和家人一起度过了这几天,也看了很多书。

在十年以前,我的年度学习目标还是教学方法——我仍然记得自己拖着沉重的书箱去机场——这些努力在 Coursera 成立初期起到了非常重要的作用。去年,在 Nova(译注:吴恩达的女儿)出生之前,我看了很多有关育儿保健的书。

今年我在关注表观遗传学的最新进展。

对抗年龄增长的科学(有时候是伪科学)。

我还拜访了自己 101 岁的祖父,告诉他我正在读书,他和我说保持好奇心是长寿的关键。

如果他是对的,我觉得很多读者们都可以开心地活到 101 岁!

祝你有一个完美的 2020 年,用好奇、学习和爱填满它。

不断学习吧!

Andrew

对于 2020 年的期望

我们进入了前程似锦的新十年,机器学习已经在传统工业和制造业中展现了自己的实力。不过我们还面临着一些重要问题,比如如何在保护隐私的情况下收集数据,避免草率的系统设计,在到达现有技术的极限之前找到另一个突破口。

在本文中,Deeplearning.ai 邀请了很多 AI 领域里最著名的学者,让我们看看大牛们对于新年的展望:

Anima Anandkumar:模拟器的力量

英伟达机器学习研究部门主管、加州理工学院计算机科学教授 Anima Anandkumar。

深度学习在有标记数据的情况下取得了很大成功。现在我们需要探索其他的学习方法了:训练未标注的数据,终身学习,特别是让模拟环境中学到的知识迁移到现实世界中来。在 2020 年,我希望能够看到更多这方面的研究。

高度仿真的模拟环境可以让我们更有效率地训练和测试算法,构建更加鲁棒、更有适应型的网络。大多数情况下,在虚拟环境中获得的训练要比在真实世界中多出很多倍。我们可以在模拟环境中重现现实世界中很少出现的危险情况。

例如我们开车时,事故极少发生。在这样的情况下即使行驶数万英里也很难让 AI 有所进步。如果你只在真实世界数据中训练自动驾驶汽车,它们就无法学会如何应对各种事故。但在模拟器中,我们可以生成各种变化,为模型找到现实世界中各种可能性的数据分布,这样才能让机器更加安全。

最近,模拟器已经帮助我们在强化学习中获得了惊艳的效果,这是非常耗费数据的。但如果研究人员只有少量真实世界的数据,模拟在监督学习中也非常有用。比如地震是罕见且难以测量的自然现象。加州理工学院地震实验室的研究人员使用一个简单的物理模型来生成代表这些事件的综合数据。通过训练合成数据,深度学习模型达到了在真实世界的地震中准确预测地震的 SOTA 水平。

在英伟达,我们一直致力于开发强大的模拟器平台,如面向自动驾驶汽车的 Drive Constellation,面向机器人的 Isaac。这些开放、可扩展的环境能够使模型在具有真实世界物理学设定的环境中进行训练。

我希望能有更多的 AI 科学家认识到模拟环境以及监督学习之外方法的重要性。这将会让 2020 年成为 AI 获得重要进展的一年。

Oren Etzioni:更高质量的工具

华盛顿大学计算机科学教授、Allen 实验室 CEOOren Etzioni。

我希望在 2020 年,AI 社区能够真正地让弱势人群从新技术中受益。

我们花费了很多时间讨论算法的公平和透明,这是必不可少的工作。但这是开发具有切实影响的软件工具的必经之路。AI 系统必须要有提升人民生活水平以及解决一些社会重要挑战的能力。

想象一下坐着轮椅的人使用手机导航,却看到面前是楼梯的情况。如果用户无法自定义导航软件,即使是最先进的导航算法也会遇到严重挑战。

现有技术可以为行动不便的人提供支持,比如 AccessMap,这是华盛顿大学 Taskar 中心的一个项目。但我们其实还可以做到更多。值得庆幸的是,我们生活在一个大多数内容都「触手可及」的时代。

无障碍化、教育、无家可归、交通堵塞——AI 可以在各个方面显著提高人类的生活质量。到目前为止,我们还只是涉及表面。在刚刚到来的一年里,让我们深入探讨这些问题吧。

Chelsea Finn:构建更具泛化能力的机器人

斯坦福大学计算机科学和工程系助理教授 Chelsea Finn。

现在,AI 社区过多地关注一些浮华的研究成果,如赢得围棋等游戏比赛的智能体。就复杂度而言,这类研究工作令人印象深刻。但很容易忽略了智能应用的另一重要评估轴:泛化性,即处理各种任务或者在各种情景中运行的能力。所以在 2020 年,我希望人们可以构建更具泛化能力的模型。

监督学习领域,在包含 1400 万图像的 ImageNet 数据集上训练图像识别器可以实现一定程度的泛化能力。在强化学习领域,模型通过与虚拟环境交互以及收集数据来学习。为了构建一定水平上的通用技能,人们习惯于将模型在 ImageNet 数据集上训练,所以需要为每个新模型收集 ImageNet 规模的数据集,但显然这是不现实的。

所以,如果我们想要通过强化学习训练的系统具有泛化能力,则需要设计能够从离线数据集中学习的智能体。此外,就像 ImageNet 数据集图像数量从最初的 100 万增加到 1400 万一样,现有的这些数据集也需要随时间推移而扩展,从而适应现实世界的变化。

这种情况正开始发生。例如,机器人可以通过学习包含自身交互行为的数据集以及人们操控机械臂的演示,来想出如何使用新的物体作为工具。我们也可以做到充分利用来自其他机构的数据。

因此,在 2020 年,我希望强化学习中的泛化性能能够迎来重大进展。如果能够解决这些挑战,机器人将可以在现实世界中更加地智能化,而不只是在实验中做一些看似智能的事情。

Yann LeCun:从观察中学习

纽约大学计算机科学教授、Facebook 副总裁兼 AI 首席科学家 Yann LeCun。

通过 20 个小时的练习,很多人就能够学会安全地驾驶汽车,而对于现在的模仿学习算法来说却需要几十万个小时,而强化学习算法要花费数百万个小时。这是为什么呢?我们显然忽略了一些重要的东西。

人类可以高效地学习,因为我们的头脑中已经搭建起了关于世界的模型。婴儿时代的我们几乎无法与世界互动,但在生命最初的几个月中,我们吸收了大量的背景知识。显然,我们大脑的很大一部分是用来了解这个世界的构造,然后预测那些将在未来发生、我们可能无法直接观察到的事情。

这表明,AI 的发展方向是自监督学习。它类似于监督学习,但不会训练系统去将数据示例映射到分类。比如,我们遮盖了视频的某些帧然后训练机器去填补那些丢失掉的片段。

近来,这种方法在自然语言理解方面取得了成果,比如像 BERT、RoBERTa、XLNet 和 XLM 上都是用自监督的方式进行训练,用来预测文本中缺失的单词部分。诸如此类的系统在主要的自然语言基准中都保持着训练记录。

2020 年,我希望这样的变革也会发生在视频和图像领域,自监督方法可以用来学习视频和图像的特征。但目前看来还存在一些挑战,其中一项严峻的挑战是如何应对不确定性,像 BERT 这样的模型无法判断句子中丢失的单词是猫还是狗,但是它们可以生成一个概率分布向量。

在视频或者图像方面,我们还没有一个好的模型,但近期的研究预示着我们已经接近成功了。在训练样本很少的视频方面,想要实现很好的预测,这之前压根是不可能的。所以 2020 年将会成为非常激动人心的一年。

李开复:AI 无处不在

创新工场董事长兼 CEO 李开复。

眼下,AI 已经从「发现」阶段过渡到了「落地」阶段。在我们所投资的中国的公司和团队中,可以看到 AI 和自动化技术正在银行、金融、交通、物流、超市、餐厅、仓库、工厂、学校和药品等各个领域开展广泛的应用。

但从整体经济的层面去观察,只有一小部分企业开始应用 AI 技术,所以还存在很大的增长空间。

我相信 AI 会像电一样,在技术进步的历史上留下浓墨重彩的一笔。在接下来的十年或者二十年,AI 会将渗透到个人生活和企业生产中,提供更高效和更智能的体验。如今,正是企业充分拥抱 AI 技术并推动社会前进的时候。

我个人对健康和教育领域的 AI 技术应用非常感兴趣,这两个领域已经准备好接受 AI 技术的洗礼。

我希望在 2020 年之后,更多的企业能够充分地应用 AI 技术。

David Patterson:更快的训练和推理速度

加州大学伯克利分校计算机科学教授,图灵奖得主 David Patterson。

在 AI 硬件领域投入的数十亿美元将在 2020 年初见成效。

2017 年,谷歌因 TPU 研发投入了巨额成本。在过去的一年中,来自阿里巴巴、Cerebras、Graphcore、Habana 以及英特尔的 AI 处理器都处于筹备阶段。这些新型芯片会慢慢走进研究实验室和数据中心。我希望整个 AI 行业能够欢迎这其中的表现优异者,推动该领域朝着更好的模型和更有价值的应用方向发展。

机器学习工程师如何判断新的代替方案是否比传统 CPU+GPU 方案具备更强的性能呢?

计算机架构是根据曲线而不是绝对比例进行分级的。为了适应不同计算机的尺寸,我们通过价格、功率和芯片数量实现性能的归一化。参赛者选择一组具有代表性的程序作为基准,相比于其中的某个项目,众多项目的平均分数可能更具代表性。

MLPerf 是一个最新的机器学习基准,由来自 50 多家公司和 9 所大学的代表联合创建。它包括用于测试推理和训练的程序、数据集以及像精确度目标和超参数值一些重要的细节。这个基准每三个月会更新一版。

Richard Socher:自动摘要生成将迎来大发展

Salesforce 首席科学家 Richard Socher。

在网络时代,人们只要在搜索框里输入几个字,即可以找到自己想要的人类知识。但是,不同的人会有不同的观点和看法,也会出现不一样的事实,对它们的管理依然面临着挑战。人们很难从冗长的文件中快速找出关键信息,并且也很难确定这些信息是否正确。

自动摘要生成对解决这些问题能够提供很大帮助,但却是自然语言处理领域最难解决的任务之一。所以 2020 年,自动摘要生成将迎来重要的进展,进而改变人们消费信息的方式。

我们正在努力解决这些问题。举例而言,研究者利用 ROUGE 分数来评估自动摘要生成的效果,并发现基于神经网络的摘要生成器虽然出现错误,但 ROUGE 分数依然很高。此外,我们推出了一个模型,它可以容易地检查源文件和摘要之间的事实一致性。我们还提出了一个指标用以评估摘要生成器生成的摘要是否具有事实一致性。

所以这些研究令我坚信在 2020 年,自动摘要生成以及其他自然语言处理领域会迎来巨大的发展机遇。此外,这些期望发生的进展不仅可以帮助人们应对泛滥的新信息,而且可以促使 AI 创造一个更美好的世界。

宋晓东(Dawn Song):建立可靠的数据经济

2019 ACM Fellow、UC 伯克利计算机系教授宋晓东(Dawn Song)。

众所周知,数据集对 AI 和机器学习而言至关重要,它们也成为了经济发展的主要驱动力。敏感数据的收集正快速增长,覆盖了人们生活的方方面面。但就目前的数据形式而言,数据收集将个人和企业置于风险之中。因此,我希望 2020 年人们可以构筑起可靠的数据经济的根基。

当今时代,用户几乎不清楚如何使用和控制生成的数据,人们可以分享和贩卖各种各样的数据。这些行为往往侵犯个人隐私,甚至会危及国家安全。随着人们越来越意识到这些问题,他们对自己使用的数据服务渐渐失去信任。与此同时,企业和研究者在利用数据的过程中也面临大量的挑战,如大规模的数据违规使用、各种数据保护和消费者隐私法规的制定和实施以及数据孤岛等。

所以,若想建立可靠的数据经济,则需要开发新技术、新规则和商业模式。所有这些的宗旨是通过安全计算、审核技能和机器学习来为数据拥有者(个人和企业)提供可靠的数据保护和管控。但是,机器学习领域依然面临更大的挑战。所以在 2020 年,我们应该继续深耕隐私数据分析机器学习技术,构建可扩展的系统,从而利用大型异构数据集进行实际部署。

联邦学习的进一步研究和部署对某些用例而言也非常重要。此外,有限和噪声数据中鲁棒性学习的进展也有助于在不侵犯隐私的前提下实现机器学习用例的长尾效应。最后,我希望技术人员、企业家、监管者和 AI 社区可以同心协力,为构建真正可靠的数据经济做出各自的贡献。

周志华新方法、明确的指导方针

南京大学计算机科学教授、人工智能学院院长、ACM Fellow 周志华

对于 2020 年,南京大学计算机科学和 AI 教授周志华寄予以下三个期望:

  • 其一,希望可以出现超越深度神经网络的高级机器学习方法。大量研究者、工程师和从业者已经对神经网络进行了长时间的研究和运用,而其他机器学习方法可以提供新的、未探索的技术创新空间;

  • 其二,希望 AI 可以落地到更多领域,并对人们的日常生活带来积极的影响;

  • 其三,希望可以更多地思考和探讨 AI 研究者、工程师和从业者必须采取哪些措施才能防止 AI 错误的发展或 AI 技术的滥用。

理论吴恩达周志华Yann LeCun模拟器机器人技术李开复自动摘要
4
相关数据
英特尔机构

英特尔(NASDAQ: INTC)是全球半导体行业的引领者,以计算和通信技术奠定全球创新基石,塑造以数据为中心的未来。我们通过精尖制造的专长,帮助保护、驱动和连接数十亿设备以及智能互联世界的基础设施 —— 从云、网络到边缘设备以及它们之间的一切,并帮助解决世界上最艰巨的问题和挑战。

http://www.intel.cn/
相关技术
吴恩达人物

斯坦福大学教授,人工智能著名学者,机器学习教育者。2011年,吴恩达在谷歌创建了谷歌大脑项目,以通过分布式集群计算机开发超大规模的人工神经网络。2014年5月16日,吴恩达加入百度,负责“百度大脑”计划,并担任百度公司首席科学家。2017年3月20日,吴恩达宣布从百度辞职。2017年12月,吴恩达宣布成立人工智能公司Landing.ai,并担任公司的首席执行官。2018年1月,吴恩达成立了投资机构AI Fund。

所属机构
周志华人物

周志华分别于1996年6月、1998年6月和2000年12月于 南京大学计算机科学与技术系获学士、硕士和博士学位。主要从事人工智能、机器学习、数据挖掘 等领域的研究工作。主持多项科研课题,出版《机器学习》(2016)与《Ensemble Methods: Foundations and Algorithms》(2012),在一流国际期刊和顶级国际会议发表论文百余篇,被引用三万余次。

深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

数据分析技术

数据分析是一类统计方法,其主要特点是多维性和描述性。有些几何方法有助于揭示不同的数据之间存在的关系,并绘制出统计信息图,以更简洁的解释这些数据中包含的主要信息。其他一些用于收集数据,以便弄清哪些是同质的,从而更好地了解数据。 数据分析可以处理大量数据,并确定这些数据最有用的部分。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

自然语言理解技术

自然语言理解是人工智能的核心课题之一,也被广泛认为是最困难和最具标志性的任务。最经典的两个人工智能思想实验——图灵测试和中文房间,都是围绕自然语言理解来构建的。自然语言理解在人工智能技术体系中的重要性不言而喻,它一方面承载着机器和人的交流,另一方面直达知识和逻辑。自然语言理解也是人工智能学者孜孜以求的圣杯,机器学习的巨擘 Michael I. Jordan 就曾经在 Reddit 上的 AMA(Ask Me Anything)栏目中畅想用十亿美元建立一个专门用于自然语言理解的实验室。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

概率分布技术

概率分布(probability distribution)或简称分布,是概率论的一个概念。广义地,它指称随机变量的概率性质--当我们说概率空间中的两个随机变量具有同样的分布(或同分布)时,我们是无法用概率来区别它们的。

自动驾驶汽车技术

自动驾驶汽车,又称为无人驾驶汽车、电脑驾驶汽车或轮式移动机器人,是自动化载具的一种,具有传统汽车的运输能力。作为自动化载具,自动驾驶汽车不需要人为操作即能感测其环境及导航。

超参数技术

在机器学习中,超参数是在学习过程开始之前设置其值的参数。 相反,其他参数的值是通过训练得出的。 不同的模型训练算法需要不同的超参数,一些简单的算法(如普通最小二乘回归)不需要。 给定这些超参数,训练算法从数据中学习参数。相同种类的机器学习模型可能需要不同的超参数来适应不同的数据模式,并且必须对其进行调整以便模型能够最优地解决机器学习问题。 在实际应用中一般需要对超参数进行优化,以找到一个超参数元组(tuple),由这些超参数元组形成一个最优化模型,该模型可以将在给定的独立数据上预定义的损失函数最小化。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

映射技术

映射指的是具有某种特殊结构的函数,或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为:两个非空集合A与B间存在着对应关系f,而且对于A中的每一个元素x,B中总有有唯一的一个元素y与它对应,就这种对应为从A到B的映射,记作f:A→B。其中,y称为元素x在映射f下的象,记作:y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域,记作f(A)。同样的,在机器学习中,映射就是输入与输出之间的对应关系。

监督学习技术

监督式学习(Supervised learning),是机器学习中的一个方法,可以由标记好的训练集中学到或建立一个模式(函数 / learning model),并依此模式推测新的实例。训练集是由一系列的训练范例组成,每个训练范例则由输入对象(通常是向量)和预期输出所组成。函数的输出可以是一个连续的值(称为回归分析),或是预测一个分类标签(称作分类)。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

自动摘要技术

自动摘要是指给出一段文本,我们从中提取出要点,然后再形成一个短的概括性的文本。

模仿学习技术

模仿学习(Imitation Learning)背后的原理是是通过隐含地给学习器关于这个世界的先验信息,就能执行、学习人类行为。在模仿学习任务中,智能体(agent)为了学习到策略从而尽可能像人类专家那样执行一种行为,它会寻找一种最佳的方式来使用由该专家示范的训练集(输入-输出对)。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

深度神经网络技术

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

阿里巴巴机构

阿里巴巴网络技术有限公司(简称:阿里巴巴集团)是以曾担任英语教师的马云为首的18人于1999年在浙江杭州创立的公司。

https://www.alibabagroup.com/
Graphcore拟未机构

Graphcore拟未为人工智能打造计算机系统,由先进的智能处理器(IPU)提供动力,旨在满足人工智能独特的计算要求。公司于2016年成立于英国布里斯托,目前海外办公室和客户遍布欧洲、亚洲和美洲国家及地区。拟未的计算系统广泛应用在各行各业的人工智能应用中,包括制药、金融服务、汽车行业和消费互联网服务。

http://www.graphcore.cn/
相关技术
自动化技术技术

自动化技术是一门综合性技术,它和控制论、信息论、系统工程、计算机技术、电子学、液压气压技术、自动控制等都有着十分密切的关系,而其中又以“控制理论”和“计算机技术”对自动化技术的影响最大。一些过程已经被完全自动化。

创新工场机构

创新工场由李开复博士创办于2009年9月,作为国内的创业投资机构,创新工场深耕在人工智能&大数据、消费和互联网、B2B&企业升级、教育、医疗等领域,并不断探索与创新,致力于打造集创业平台、资金支持、投后服务等的全方位生态投资服务平台。

http://www.chuangxin.com/
联邦学习技术

如何在保护数据隐私、满足合法合规要求的前提下继续进行机器学习,这部分研究被称为「联邦学习」(Federated Learning)。

自监督学习技术

一个例子中的内容特别多,而用一个例子做一个任务,就等于把其他的内容浪费了,因此我们需要从一个样本中找出多个任务。比如说遮挡图片的一个特定部分,用没遮挡部分来猜遮挡的部分是一个任务。那么通过遮挡不同的部分,就可以用一个样本完成不同任务。Yann Lecun描述的这个方法被业界称作「自监督学习」

围棋技术

围棋是一种策略性棋类,使用格状棋盘及黑白二色棋子进行对弈。起源于中国,中国古时有“弈”、“碁”、“手谈”等多种称谓,属琴棋书画四艺之一。西方称之为“Go”,是源自日语“碁”的发音。

推荐文章
暂无评论
暂无评论~