2018年学术顶会:深度学习的江山如此多娇

2018 年,AAAI、IJCAI、NeurIPS 等学术会议愈加火热。本文中,机器之心将概述 2018 年十大学术会议,包括论文提交与接收情况、备受关注的论文评审制度,以及论文主题分布等。我们希望读者能通过这篇文章遍历机器学习在一年中的起伏与风雨,同时也希望追随学术会议开辟的道路继续向前。

年度学术会议配合年度研究进展服用效果更佳:

2018 顶会概览

顶会论文提交与接收情况

2018 年顶会论文提交与接收情况一览。紫色为论文提交数量,蓝色为论文接收数量。其中 AAAI 2018 论文提交数量为 3808 篇,较去年的 2571 提升了 47%;ICML 2018 共收到 2473 篇提交论文,比去年的 1676 篇提高 47.6%;EMNLP 2018 收到论文 2100 多篇(数量比去年多出 46%);NeurIPS 2018 共收到 4856 篇投稿,创历史最高记录。

接下来我们简要介绍这些会议及其今年接收论文的情况。

1. 综合性会议

  • ICML 是计算机科学领域的顶会之一。据统计,ICML 2018 共评审了 2473 篇论文(比去年的 1676 篇提高 47.6%,增幅显著),接收论文 621 篇,接收率为 25.1%,与去年的 26% 基本持平。

  • NeurIPS 2018 共收到 4856 篇论文投稿,创历史最高记录,最终录取了 1011 篇论文,其中 Spotlight 168 篇 (3.5%),oral 论文 30 篇 (0.6%)。接收率为 20.8%,与去年的 20.9% 基本持平。

  • AAAI 是人工智能领域一年一度的顶级盛会,围绕人工智能的研究与发展,吸引了全球的人工智能精英。AAAI 2018 收到的投递论文有 3808 篇(比去年的 2571 提升了 47%),其中 938 篇论文被大会接收,接收率 24.6%,与去年持平。

  • IJCAI(人工智能国际联合大会)是人工智能领域的顶级综合会议,被中国计算机学会推荐国际学术会议列表认定为 A 类会议。今年 IJCAI 共收到 3470 篇论文投稿(比去年增加了 37%),最终录取了 710 篇,接收率约为 20.5%(相比之下,去年的论文接收率为 26%,今年 IJCAI 论文录取率与去年有所下降)。

2. 计算机视觉领域会议

  • 根据谷歌发布的 2018 版学术指标,在计算机视觉模式识别领域,CVPR 是影响力最大的论文发布平台。CVPR 全称为「IEEE Conference on Computer Vision and Pattern Recognition」(计算机视觉模式识别会议),是近年来计算机视觉领域全球最影响力、内容最全面的顶级学术会议。今年的 CVPR 收到超过 3300 篇大会论文投稿,接收 979 篇(接收率约为 29%,其中包括 70 篇 Oral 和 224 篇 Spotlight 论文)。

  • 欧洲计算机视觉大会(European Conference on Computer Vision,ECCV),与计算机视觉模式识别会议(CVPR)和国际计算机视觉会议(ICCV)并称计算机视觉方向的三大顶级会议。据统计,本届 ECCV 共收到 2439 篇论文的投稿,接收 776 篇,接收率 31.8%(去年的论文接收率为 29%),包括 59 篇 oral 论文,717 篇 Poster 论文。今年大会参会人数近 3200 人,是上届(2016)的两倍。

3. 自然语言处理领域会议 

  • 国际计算语言学协会 (ACL,The Association for Computational Linguistics) 是世界上影响力最大、最具活力的国际学术组织之一。今年 ACL 收到 1544 篇提交论文,其中 1018 份长论文接收了 258 篇,526 份短论文接收了 126 篇,总体接收率为 24.9%,与去年的论文接收率 24% 基本持平。

  • EMNLP 是自然语言处理领域的顶级会议。今年 EMNLP 共收到论文 2100 多篇(数量比去年多出 46%),收录 549 篇,接收率为 24.6%(去年的论文接收率为 22%)。

4. 深度学习领域会议

ICLR 是深度学习领域的盛会,每年举办一次。2013 年,深度学习巨头 Yoshua Bengio、Yann LeCun 主持举办了第一届 ICLR 大会。经过几年的发展,在深度学习火热的今天,ICLR 已经成为人工智能领域不可错过的盛会之一。

ICLR 2018 共收到超 900 篇提交论文(去年为 507 篇),接收论文 337 篇,其中 23 篇为 oral 论文、314 篇为 Poster 论文。

5. 数据挖掘领域会议

KDD 是国际数据挖掘领域的顶级会议。据统计,KDD 2018 共收到 1480 篇论文投递,收录 293 篇,录用率 19.8%。

顶会中的华人力量

在综合性顶会和深度学习顶会中,今年获奖的华人很多。尤其是 IJCAI 2018,来自中国的研究人员为本届 IJCAI 贡献了主要力量,在七篇杰出论文中,华人学者的研究占据四席;陈天琦获得 NeurIPS 2018 最佳论文的研究《Neural Ordinary Differential Equations》也引发了社区的热议。

  • ICML 2018:获得 Best Paper Runner Up Awards 奖的三篇论文中有两篇有华人学者的参与:复旦大学副教授黄增峰一人署名的论文《Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices》;斯坦福大学的论文《Fairness Without Demographics in Repeated Loss Minimization》,作者之一 Percy Liang 是著名华人学者、斯坦福大学计算机系助理教授、斯坦福人工智能实验室成员。

  • NeurIPS 2018:本届 NeurIPS 大会共有 4 篇最佳论文,其中《Neural Ordinary Differential Equations》的作者之一是来自多伦多大学向量研究所的陈天琦;《Optimal Algorithms for Non-Smooth Distributed Optimization in Networks》的作者来自华为诺亚方舟实验室、PSL 研究大学和微软研究院,其中 Yin Tat Lee 本科毕业于香港中文大学,现任华盛顿大学助理教授。

  • AAAI 2018:杰出论文《Memory-Augmented Monte Carlo Tree Search》作者分别为 Chenjun Xiao、梅劲骋与 Martin Müller。其中,Chenjun Xiao 和梅劲骋均为华人。梅劲骋本科毕业于华南理工大学,研究生赴上海交通大学,师从计算机系吕宝粮教授。2015 年起,他来到阿尔伯塔大学攻读博士,师从 Dale Schuurmans 教授。Chenjun Xiao 研究生与博士阶段均师从于 Martin Müller 教授。

  • IJCAI 2018:据大会官方统计,今年的接收论文中,46%的论文包含来自中国的通讯作者,57%的论文来自亚洲。而在七篇杰出论文中,华人学者的研究占据四席,来自北京大学、武汉大学、清华大学、北京理工大学的研究榜上有名。



计算机视觉是华人广泛研究的领域,在此类顶会上常会看到华人的身影。例如,何恺明曾获得 CVPR 2009、2016 的最佳论文奖,而他也获得了本届 CVPR 的 PAMI 青年研究员奖。今年,华人在计算机视觉顶会上的获奖情况如下:

  • CVPR 2018:最佳论文《Taskonomy: Disentangling Task Transfer Learning》作者是来自斯坦福大学加州大学伯克利分校的研究者。该论文的共同二作 William Shen(沈博魁)为华人,研究兴趣为计算机视觉机器人学习(robotics learning)。

此外,FAIR 研究科学家何恺明获得本届 CVPR 的 PAMI 青年研究员奖,该奖项颁发给 7 年内获得博士学位且早期研究极为有潜力的研究人员。

论文《SPLATNet: Sparse Lattice Networks for Point Cloud Processing》获得 CVPR 2018 最佳论文荣誉提名奖。其中 Hang Su、Deqing Sun、Ming-Hsuan Yang 均为华人。

  • ECCV 2018:FAIR 研究工程师吴育昕与研究科学家何恺明合作的《Group Normalization》获得了最佳论文荣誉提名奖。


华人在自然语言处理顶会上的获奖情况如下:

  • ACL 2018:最佳长论文之一《Let』s do it「again」: A First Computational Approach to Detecting Adverbial Presupposition Triggers》共同一作 Yulan Feng 本科毕业于麦吉尔大学,研究领域为自然语言理解。最佳短论文之一《Know What You Don't Know: Unanswerable Questions for SQuAD》作者之一是著名华人学者 Percy Liang。

  • EMNLP 2018:最佳资源论文《MultiWOZ - A Large-Scale Multi-Domain Wizard-of-Oz Dataset for Task-Oriented Dialogue Modelling》的作者 Tsung-Hsien Wen、Bo-Hsiang Tseng 为华人。


而在数据挖掘领域会议 KDD 中,由中国科学技术大学、微软和苏州大学的研究者合著的《XiaoIce Band: A Melody and Arrangement Generation Framework for Pop Music》获得最佳学生论文奖。

顶会论文主题分析

这部分将介绍部分学术会议的论文主题分布情况,包括 ICML 2018、NeurIPS 2018、AAAI 2018、IJCAI 2018 和 ACL 2018。

ICML 

下图展示了 ICML 2018 论文子领域统计情况。可以看出神经网络架构和强化学习两个子领域的投稿数量最多,强化学习领域的论文接收数量最多,其它热门方向还有深度学习理论、最优化方法、监督学习在线学习统计学习理论等等。

图源:https://www.msra.cn/zh-cn/news/features/icml-2018

NeurIPS

NeurIPS 2018 接收了 1011 篇论文,其中 Spotlight 168 篇 (3.5%),oral 论文 30 篇 (0.6%)。如下图所示,算法、深度学习和应用领域的投稿数量最多。

机器之心在梳理论文接收列表时重点关注了 30 篇 Oral 论文,从中可以看到总体上有几个比较突出的方面:首先对神经网络、模块及损失函数的理论分析比较多,此外对反向传播及最优化过程的研究也比较多,最后从策略到结构对强化学习的整体研究就更多了。

AAAI 

AAAI 2018 收到的投递论文有 3808 篇,接收论文 938 篇。其中机器学习方法的论文在论文提交和接收量上都居首位,而视觉领域的论文稳居第二,且相比 2017 年该领域论文提交量增长了 257%、接收数量增长了 285%,实现了飞跃。紧随其后的是 NLP 与机器学习、AI 与网络、机器学习应用等。

图源:https://youtu.be/JbUuB72pA-c?list=PL_9a5ic6GUim0HB71cILHmQwfdKiwZ-MG

IJCAI 

IJCAI 2018 共收到 3470 篇论文投稿,最终录取 710 篇。其中机器学习论文在论文提交和接收量上都是第一,分别是 1808 篇和 356 篇。紧随其后的子领域有:计算机视觉机器学习应用、多智能体系统自然语言处理知识表征等。

ACL

ACL 2018 收到 1544 篇提交论文,其中 1018 份长论文接收了 258 篇,526 份短论文接收了 126 篇,总体接受率为 24.9%。

接收论文标题关键词(左:ACL 2017 独有,中:ACL 2017 和 ACL 2018 共有,右:ACL 2018 独有)(图源:https://www.msra.cn/zh-cn/news/features/acl-2018

从上图对接收论文标题的词云分析中可以看出,在 ACL 2017 和 2018 上持续热门的关键词有深度(deep)、解析(parsing)、语言(language)、知识(knowledge)、注意力机制(attention)、提取(extraction)、序列(sequence)等。而 ACL 2018 独有的关键词包括嵌入(embedding)、情感(sentiment)、建模(modeling)、图(graph)等。

从顶会大事件中看趋势

大家都关心也都「吐槽」的评审制度

1. 同行评审制度

近年来,机器学习深度学习研究火热,相关顶会的投稿数量激增,很多人开始担忧论文评审的质量。常见的评审制度有单盲评审(single-blind)、双盲评审(double-blind)和开放式评审(open review)等。单盲评审即评审人员对文章进行匿名评审,评审人员知道文章作者的信息。双盲评审即评审人和文章作者互相都不知道对方的信息,完全匿名。而在开放式评审中,所有提交的论文都会公开姓名等信息,并且接受所有同行的评价及提问(open peer review),任何学者都可匿名或实名评价论文。而在公开评审结束后,论文作者也能够对论文进行调整和修改。

我们比较熟悉的学术会议大多采用双盲评审制度,其中 ICLR 经历了从 open review 到双盲评审的转变。ICLR 2017 多篇论文引发争议,比如 2016 年火爆的 DeepMind LipNet 论文遭拒(然而今年 DeepMind 的新唇读系统论文又被 ICLR 拒了)、最佳论文《UNDERSTANDING DEEP LEARNING REQUIRES RETHINKING GENERALIZATION》遭受质疑。自 2018 年开始,ICLR 采取采取双盲评审,但该会议不禁止作者在 arXiv 或其他公共论坛上发表文章,大会将只进行一轮论文评审,初步评审结束后,作者和审稿人之间仍将有一个讨论期,作者可以继续对论文进行修改。

双盲评审可以有效减少评审人因知道作者信息而产生的刻板印象,但 ICLR 采用双盲评审后依然引起了争议。前不久,ICLR 2019 结束论文投稿,所有论文被放在开放平台 Openreview 上,以匿名方式供所有人审阅。但是,一篇 9 月 28 号提交到 Openreview 上参与 ICLR 2019 双盲评审的论文引起了评论区的非正面交锋:评论区疑似出现匿名或非匿名的刷屏式好评

针对这种情况,有网友指出:在真正的评审结果面世之前发布可见的评论是一个可怕的想法,有很多方式可以对评审员造成影响。

  • 论文的好评(如果是真的,一定会有影响,如关于热门论文 BigGAN 的评论)

  • 在对手论文下发布刻薄、详细的评论(如果别人的论文和你的类似,你必须发现甚至连评审者都没发现的缺陷,这样他们就不会忽视你的评论)

  • 在对手论文下发布看起来过于浮夸的评论使之看起来像在作弊

也就是说过早的反馈可能会使评审过程变得不公平。评审人员由于自身经验关系,不可能做到完美的公正。而无论是虚假的吹捧或真实的指摘,作为先入之见,最后都会让评审人员留下对论文的负面印象。而论文的热度、好评也可能会影响评审结果。

ICLR 2018 评论和讨论阶段对论文分数的影响。(图源:https://news.cnblogs.com/n/595597/

如前所述,自 2018 年 ICLR 开始实行双盲评审制度之后,争议仍然存在,比如 LipNet 论文作者再投 ICLR 再次失败、ICLR 2019 评审阶段评论区疑似有水军出没等,且允许作者在 arXiv 等平台发布论文的做法使*双盲*形同虚设。而同样实行双盲评审制度的 ACL 大会规定投递论文在一定期限内不得上传到开放平台。

此外,关于投稿论文是否应该开源代码、评审人员是否应该复现论文结果也引发了大量争论。

那么,在当前人工智能领域各大顶会投稿量飞速增长的情况下,如何从制度层面上确保原本旨在促进开放研究的同行评审制度发挥其本来作用,减少在执行过程中出现的问题,不断优化其执行过程和效果,同时在机器学习大发展的当下,同行评审不会限制新研究的创新性,这值得我们思考和讨论。

2. 论文数量增多与合格论文评审人员数量不足之间的矛盾

从本文第一部分,我们可以看到这些学术顶会的论文提交数量不断增长,有些增幅甚至超 40%。那么一年过去了,合格的论文评审人员的增幅是否赶得上论文的增幅呢?

答案显而易见。今年 5 月,本科毕业生成为 NeurIPS 2018 论文同行评审的事情引发争议;7 月份,NeurIPS 2018 论文评审结果出来后,很多人吐槽评审意见不专业。几天后,GAN 之父 Ian Goodfellow 发推质疑同行评审机制的作用,他认为同行评审导致 AI 顶会论文质量下降,而主要原因正在于评审人员水平不一。此前发表过「机器学习之怪现状」的 Zachary Lipton 同意 Goodfellow 的看法,认为同行评审机制的退化是机器学习怪现状的原因之一。

除了 Ian Goodfellow、Zachy Lipton 以外,Geoff Hinton 前不久接受采访时称,现在的评审制度和既定路径不利于创新性想法的提出和传播,junior 论文评审者可能压根无法理解创新性论文。关于此,国内学者也有类似看法,著名自然语言处理专家刘群教授说过:「审稿的时候……通常比较 junior 的审稿人会更严厉一些,发现一些小问题就会倾向于给低分,而 senior 的审稿人反倒宽松一些,如果觉得论文确有可取之处,通常不会太计较一些小问题。」此前,南京大学周志华教授称:「senior 知道论文价值就是那点新火花,有毛病没关系。前沿研究要有长处,系统开发要无短处。」

AAAI 2019 程序主席、南京大学周志华教授在谈到 AAAI 2019 7700 多篇论文提交量的时候,评论道:

当前主要矛盾是够水平的审稿人数远不足以应付快速增长的巨量投稿数。随便什么高水平会议,几千个投稿涌过去足以冲垮防线。除非不公开征文,否则似乎无解。这是会议机制本身的问题。CS 重视会议的传统形成于 CS 还是小学科的时候,从业者多了之后问题就显现出来了,相对较大的子领域先遭殃。

那么如何改善评审质量参差不齐这一现象呢?

之前,CVPR 2019 程序委员会发布了一个关于如何写好 CVPR 论文评审的教程:《How to Write Good Reviews for CVPR》,对论文评审的工作或许具备普遍意义。该教程从评审人工作的重要性、论文决策流程、如何写好论文评审意见等方面展开。

此外,ICML 2019 程序主席之一 Ruslan Salakhutdinov 教授在 Twitter 上表示为了鼓励可复现性和高质量的论文提交,今年 ICML 的程序委员会在论文提交上作出了三项改变

  1. 设置了论文摘要的提交 deadline,2019 年 1 月 18 日。只有提交了合适摘要的论文才能被允许提交 full paper,并且占坑性质的摘要将会被移除,重点提一下,标题和摘要都不能有 test、xyz 这样的占位符。提交的摘要不合格的话就不能提交 full paper 了。full paper 的提交 deadline 是 2019 年 1 月 23 日。

  2. 今年,在 full paper 提交的 deadline 之后,不会再有修改的机会了。

  3. 最后,为了促进可复现性,委员会鼓励提交的论文附带代码。他们设置的提交形式包含了两种可选的补充文件:常规的附录和代码。结果的可复现性和代码的易用性将作为论文接收和进一步决策的考虑因素。

目前来看,社区对学术会议评审问题的关注起到了一定好的影响,学术会议程序委员会也在想办法从多个层面改进同行评审的质量。我们期待学术研究越来越好。

性别平权

根据斯坦福 AI Index 2018 年度报告,针对美国 AI 课程的注册情况调查显示,斯坦福大学 2017 年的 AI 课程注册学生中男性占 74.45%,ML 课程注册学生中男性占比 75.91%;伯克利 2017 年的 AI 课程注册学生中男性占 73.37%,ML 课程注册学生中男性占比 78.67%。顶级计算机科学学校的 AI 教授中男女比例是:4:1——来自 UC 伯克利、斯坦福、UIUC、CMU、UC London、牛津、苏黎世联邦理工学院的教授中 80% 为男性。

图源:斯坦福 AI Index 2018 年度报告(http://cdn.aiindex.org/2018/AI%20Index%202018%20Annual%20Report.pdf

而在对 2017 年美国 AI 职位的调查中,高达 71% 的职位申请者是男性。

图源:斯坦福 AI Index 2018 年度报告(http://cdn.aiindex.org/2018/AI%20Index%202018%20Annual%20Report.pdf

过去这一年,学术界并不平静。尤其是随着全球 #metoo 运动的不断发展,学术界爆出大量内部性别歧视、性骚扰的案例。NIPS 大会的名字由于带有情色意味,引起了众多社区成员的反对。在经历了官方调研、社区抗议等事件后,NIPS 大会终改名为 NeurIPS。NIPS 大会事件持续了好几个月,引起了 AI 社区的大量讨论和关注。这件事不仅改变了让人不舒服的名字,也提醒社区成员注意自己在学术会议上的行为,学术会议应该是友好开放的,而不应因为某些人的不当行为导致另一些人的痛苦。此外,NeurIPS 2018 也开始在基础设施方面做出改变,如提供托儿服务等便利措施。这些举措无疑在学术界男女平权问题上是有所助益的。

AI 教育、相关职位方面的性别多样化现状或许需要很长时间、多方面的努力才能改变,但学术顶会的这些改变及其所引发的积极影响将会对前者大有裨益。斯坦福大学李飞飞教授创立非营利性公益组织 AI4All,致力于提高人工智能领域的多样性和包容性,让少数群体(包括女性、亚裔、非裔等)都能参与到 AI 的研发过程中。斯坦福以人为中心的 AI 计划(HAI)表示:「AI 的最终目的应该是增强我们的人文性(humanity),而不是削弱或取代它。」

技术与人文未来会怎样,我们不知道。但在重视技术的同时,追求人文性、追求人与人(不只是特定部分的人)之间更融洽地相处与合作依然必不可少。

参考文章:

理论学术会议
2
相关数据
华为机构

华为成立于1987年,是全球领先的ICT(信息与通信)基础设施和智能终端提供商。华为的主要业务分布在无线、网络、软件、服务器、云计算、人工智能与大数据、安全、智能终端等领域,发布了5G端到端解决方案、智简网络、软件平台、面向行业的云解决方案、EI企业智能平台、新一代FusionServer V5服务器、HUAWEI Mate等系列智能手机、麒麟系列AI芯片等产品。目前华为拥有18万员工,36所联合创新中心,14所研究院/所/室,业务遍及170多个国家和地区。

http://www.huawei.com/cn
DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年,最初名称是DeepMind科技(DeepMind Technologies Limited),在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯,谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后,Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏,例如即时战略游戏《星际争霸II》(StarCraft II)。深度AI如果能直接使用在其他各种不同领域,除了未来能玩不同的游戏外,例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作,基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

微软机构

微软是美国一家跨国计算机科技公司,以研发、制造、授权和提供广泛的计算机软件服务为主。总部位于美国华盛顿州的雷德蒙德,最为著名和畅销的产品为Microsoft Windows操作系统和Microsoft Office办公室软件,以及Xbox的游戏业务。微软是美国《财富》杂志2015年评选的世界500强企业排行榜中的第95名。

https://www.microsoft.com/en-us/about
何恺明人物

Facebook AI Research研究科学家。Residual Net提出者。

周志华人物

周志华分别于1996年6月、1998年6月和2000年12月于 南京大学计算机科学与技术系获学士、硕士和博士学位。主要从事人工智能、机器学习、数据挖掘 等领域的研究工作。主持多项科研课题,出版《机器学习》(2016)与《Ensemble Methods: Foundations and Algorithms》(2012),在一流国际期刊和顶级国际会议发表论文百余篇,被引用三万余次。

李飞飞人物

李飞飞,斯坦福大学计算机科学系教授,斯坦福视觉实验室负责人,斯坦福大学人工智能实验室(SAIL)前负责人。专业领域是计算机视觉和认知神经科学。2016年11月李飞飞加入谷歌,担任谷歌云AI/ML首席科学家。2018年9月,返回斯坦福任教,现为谷歌云AI/ML顾问。10月20日斯坦福大学「以人为中心的AI计划」开启,李飞飞担任联合负责人。11月20日李飞飞不再担任SAIL负责人,Christopher Manning接任该职位。

Deqing Sun人物

英伟达高级研究科学家。研究兴趣:计算机视觉、机器学习、计算摄影学,尤其是光流估计和视频处理应用。

吴育昕人物

吴育昕是Facebook人工智能研究机构FAIR的一名工程师,主要研究计算机视觉方向。

深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

知识表征技术

知识表示是人工智能的一部分,它关心代理人(agent)如何在决定做什么时使用它所知道的知识, 这是一门将思考作为计算过程的研究。严格来说知识表示和知识推理是同一研究领域密切相关的两个概念,但实际上知识表示也经常用来直接指代包含推理的广义概念,因此在这里沿用后者,即知识表示等价于知识表示与推理。这是一个涉及使用符号来表示一些推定代理人(putative agent)相信的命题集合的研究领域。 但是在另一方面,我们同时不想坚持这些符号必须代表代理人相信的主张。因为实际上代理人可能相信无数的命题,但只有一部分被表示出来。 而弥合所代表的事物与所相信的事物之间的差距将成为推理(reasoning)在知识表示中所承担的责任。因此,推理一般来说是对代表一系列代理所相信的命题符号进行形式化处理,以产生新的表征。 符号需要比它们表示的命题更容易操纵,因此它们必须足够具体,以便我们可以操纵它们(移动它们,拆开它们,复制它们,串起它们) 构建新命题的表征。

自然语言理解技术

自然语言理解是人工智能的核心课题之一,也被广泛认为是最困难和最具标志性的任务。最经典的两个人工智能思想实验——图灵测试和中文房间,都是围绕自然语言理解来构建的。自然语言理解在人工智能技术体系中的重要性不言而喻,它一方面承载着机器和人的交流,另一方面直达知识和逻辑。自然语言理解也是人工智能学者孜孜以求的圣杯,机器学习的巨擘 Michael I. Jordan 就曾经在 Reddit 上的 AMA(Ask Me Anything)栏目中畅想用十亿美元建立一个专门用于自然语言理解的实验室。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

模式识别技术

模式识别(英语:Pattern recognition),就是通过计算机用数学技术方法来研究模式的自动处理和判读。 我们把环境与客体统称为“模式”。 随着计算机技术的发展,人类有可能研究复杂的信息处理过程。 信息处理过程的一个重要形式是生命体对环境及客体的识别。其概念与数据挖掘、机器学习类似。

损失函数技术

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学等领域,损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

元学习技术

元学习是机器学习的一个子领域,是将自动学习算法应用于机器学习实验的元数据上。现在的 AI 系统可以通过大量时间和经验从头学习一项复杂技能。但是,我们如果想使智能体掌握多种技能、适应多种环境,则不应该从头开始在每一个环境中训练每一项技能,而是需要智能体通过对以往经验的再利用来学习如何学习多项新任务,因此我们不应该独立地训练每一个新任务。这种学习如何学习的方法,又叫元学习(meta-learning),是通往可持续学习多项新任务的多面智能体的必经之路。

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集(或特征)的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的,这让「神经网络在执行预测任务时可以更多关注输入中的相关部分,更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时,源句子中仅有少部分是相关的;因此,可以应用一个基于内容的注意力机制来根据源句子动态地生成一个(加权的)语境向量(context vector), 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

机器人技术技术

机器人学(Robotics)研究的是「机器人的设计、制造、运作和应用,以及控制它们的计算机系统、传感反馈和信息处理」 [25] 。 机器人可以分成两大类:固定机器人和移动机器人。固定机器人通常被用于工业生产(比如用于装配线)。常见的移动机器人应用有货运机器人、空中机器人和自动载具。机器人需要不同部件和系统的协作才能实现最优的作业。其中在硬件上包含传感器、反应器和控制器;另外还有能够实现感知能力的软件,比如定位、地图测绘和目标识别。之前章节中提及的技术都可以在机器人上得到应用和集成,这也是人工智能领域最早的终极目标之一。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

数据挖掘技术

数据挖掘(英语:data mining)是一个跨学科的计算机科学分支 它是用人工智能、机器学习、统计学和数据库的交叉方法在相對較大型的数据集中发现模式的计算过程。 数据挖掘过程的总体目标是从一个数据集中提取信息,并将其转换成可理解的结构,以进一步使用。

监督学习技术

监督式学习(Supervised learning),是机器学习中的一个方法,可以由标记好的训练集中学到或建立一个模式(函数 / learning model),并依此模式推测新的实例。训练集是由一系列的训练范例组成,每个训练范例则由输入对象(通常是向量)和预期输出所组成。函数的输出可以是一个连续的值(称为回归分析),或是预测一个分类标签(称作分类)。

多智能体系统技术

一个多智能体系统,是由一个在一个环境中交互的多个智能体组成的计算系统。多智能体系统也能被用在解决分离的智能体以及单层系统难以解决的问题。智能可以由一些方法,函数,过程,搜索算法或加强学习来实现。尽管存在相当大的重叠,然而一个多智能体系统并不总是一个基于智能体的模型表现一致。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

在线学习技术

在计算机科学中,在线学习是一种机器学习方法。和立即对整个训练数据集进行学习的批处理学习技术相反,在线学习的数据按顺序可用,并在每个步骤使用未来数据更新最佳预测器。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

统计学习理论技术

统计学习理论是统计学和功能分析领域的机器学习框架。统计学习理论处理基于数据建立预测函数的问题,且已经在算机视觉,语音识别,生物信息学等领域得到了成功应用。

加州大学伯克利分校机构

加利福尼亚大学伯克利分校,简称加州大学伯克利分校,又常被译为加利福尼亚大学伯克莱分校,位于美国加利福尼亚州旧金山湾区伯克利市,是一所世界著名的公立研究型大学。其许多科系位于全球大学排行前十名,是世界上最负盛名的大学之一,常被誉为美国乃至世界最顶尖的公立大学。

https://www.berkeley.edu/
暂无评论
暂无评论~