Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

IEEE智能系统10大AI青年科学家公布:南大俞扬、腾讯AI Lab刘威入选

近日,IEEE Intelligent System 评选的「AI's 10 to Watch」青年科学家榜单公布,其中有许多我们熟知的华人研究者,包括腾讯 AI Lab 的刘威、南京大学的俞扬等。

IEEE Intelligent System 一直致力于通过「AI's 10 to Watch」特辑向人们介绍全球最有抱负的青年 AI 科学家。和往常一样,今年的榜单包含了 10 位 AI 领域里的新星研究者。2017 年,IEEE Intelligent System 从全球范围内寻找候选提名,本榜单的要求是候选人必须在过去五年之内获得了博士学位。由 IEEE Intelligent System 编辑和顾问组成的评选委员会对候选人进行了投票最终形成了本次榜单,其评价是根据候选人在声誉、影响力、专业认可等方面的考量作出的。

值得一提的是,杨强教授是 IEEE Intelligent Systems 选拔委员会主席、编委成员。

今年的 AI's 10 to Watch 入选者介绍如下:

安波(Bo An)

新加坡南洋理工大学

安波是南洋理工大学计算机科学与工程学院的助理教授。他从麻省大学阿默斯特分校的计算机科学系获得博士学位。他的研究兴趣包括 AI、多智能体系统博弈论和优化。他的研究曾获多个奖项,包括自动智能体和多智能体系统国际基金会(IFAMAS)2010 年的 Victor Lesser 杰出博士论文奖,以及运筹学和管理科学研究所(INFORMS)2012 年的 Daniel H. Wagner 奖(奖励其在运筹学研究方面的杰出成果)。他受邀在 IJCAI 2017 会议上做关于早期生涯的 spotlight 演讲。他还带领团队赢得了 2017 年的微软协作 AI 挑战赛的胜利。他是 Journal of Artificial Intelligence Research 杂志的编委会成员、Journal of Autonomous Agents and Multi-Agent Systems 杂志的副主编,并被推选为 IFAAMAS 的理事会成员。

计算博弈论的安全性和可持续性

安全性是一个重要的问题,但由于资源限制,我们通常无法提供 24 小时的充分安全保障。因此,我们必须智能地部署有限的资源,考虑目标优先次序、攻击者对我们的防御机制的反应,以及关于它们的容量、知识和目标的潜在不确定性。

博弈论适用于安全-资源-配置和调度问题中的对抗推理。通过将问题定义为主从对策博弈(Stackelberg game),新的算法可以高效地为随机巡逻或检查策略提供解决方案。这些算法已经为很多现实世界的安全领域(包括基础建设安全和野生动物保护)提供了基于博弈的决策帮助。这些初步的成功为重要的未来研究和大范围的安全领域应用指明了道路。

在过去几年来,我们的主要工作聚焦于研究实际的、复杂的安全-资源配置问题中的实践性和有挑战性的问题,包括动态收益、防护外部性和策略保密性。另一个重要的聚焦点是,解决在新应用领域中出现的研究挑战,例如网络安全、运输网络安全、对抗机器学习、选举保护和核走私。为了解决这些问题,我们设计了特定的算法或相等质量的近似算法,来求解连续、无限策略空间上的大规模博弈。

我们还研究了计算可持续性,这是使用计算技术解决可持续发展中出现的环境、经济和社会问题的重要领域。通过策略性地决定如何使用公共资源,人类在这个领域中扮演重要角色。我们聚焦于在该领域中提供最优的规划和策略。在未来,我们必须:

  • 构建更加实用的模型,使我们提出的解决方案在实践中有效;

  • 开发新的可以高效计算现实世界安全场景最优解的算法;

  • 进一步提高解决方案的鲁棒性;

  • 将基于学习和基于模型的方法结合起来,用于数据密集领域的资源配置;

  • 整合实时信息到安全资源的长期最优配置中。

Erik Cambria

新加坡南洋理工大学

Erik Cambria 是南洋理工大学计算机科学与工程学院的助理教授,他也是多个 AI 杂志的副主编,例如 IEEE Computational Intelligence Magazine、Artificial Intelligence Review、Knowledge-Based Systems、Information Fusion。Cambria 还是 SenticNet 的创始人,提供 B to B 的情感分析服务。除了情感分析,他的研究领域还包括自然语言处理、常识推理、多模态交互。在完成了斯特灵大学与 MIT 媒体实验室合作的 UK Engineering and Physical Sciences Research Council project 之后,他获得了计算科学与数学博士学位。

情感计算(Sentic Computing)

  • 需要大量训练数据且受领域限制;

  • 不同类型的训练或者参数调整会带来不同的结果;

  • 黑箱算法使得推理流程不具备可解释性。

我们的研究团队通过自己的跨学科情感计算方法解决自然语言处理中的此类问题。该方法旨在填补统计 NLP 与其他理解人类语言所需的学科之间的距离,例如语言学、常识推理以及 affective computing。

情感计算不只是在段落级别上进行网页、文档的文本分析,也包括句子、小句和概念级别上的分析。因为这种既自上而下又自下而上的方法,情感计算才成为了可能。说它自上而下是因为它利用语义网络和概念依存表征这样的符号模型来编码意义。说它自下而上是因为它使用子符号(subsymbolic)方法(例如深度神经网络多核学习)来推断数据的句法模式。

结合符号和子符号 AI 对促进 NLP 与自然语言理解非常重要。单独的机器学习只对基于经验的自然语言理解有帮助,因为子符号方法只编码关联性且只使用概率性的决策流程。而自然语言理解,需要的更多。

情感计算采用了一种整体的方法进行情感分析,解决提取文本意义与极性(polarity)中所涉及的多个难题。大部分其他方法只是把它当成简单的分类问题。然而,情感分析是一个复杂、综合的任务,需要同时利用多种不同的 NLP 技术。

情感计算通过一个三层的架构解决这一难题的复合性,同时也解决以下任务:

  • 微缩文本分析(microtext analysis):处理缩写、缩略与情感符;

  • 概念提取(concept extraction):把文本解构为单词和多词表达;

  • 主客观检测(subjectivity detection):过滤掉中性内容;

  • 讽刺检测(sarcasm detection):识别、处理讽刺性表达;

  • 方面抽取(aspect extraction):处理基于 aspect 的情感分析。

我们的方法可作为许多应用的后端,例如电子商务、电子政务、电子安全、健康、网络学习、旅游、出行、娱乐等。

Yoav Goldberg

以色列巴伊兰大学

Yoav Goldberg 是巴伊兰大学计算机科学系的高级讲师。他在以色列班固里昂大学获得博士学位,并在位于纽约的谷歌研究院担任研究科学家,进行博士后研究。他目前致力于自然语言处理(NLP)和机器学习方面的研究。具体来说,他感兴趣的领域是句法结构、结构化预测模型、贪婪解码算法的学习、多语言理解,以及跨领域学习和半监督表征。最近,他用基于神经网络的方法进行 NLP 研究。

自然语言处理

NLP 即使用计算机生成和理解人类语言文本,是一个重大挑战,因为人类语言是我们目前主要的沟通和信息迁移方式。今天的语言理解依赖于先进的机器学习技术。具体来说,深度学习方法在识别掌控句子结构和意义的复杂模式和规律方面有惊人的效果。现在我们已经有了匹配句子和底层语言结构、匹配一种语言中的句子和另一种语言中的句子的高效模型。

不幸的是,尽管我们知道如何应用深层网络,使它们很好地应用于很多自然语言任务上,但是我们并不了解如何解释网络的行为。我们不知道哪些因素掌控模型的行为(即它为什么做出这样的预测)以及模型能够学习哪种模式。我们也不知道网络的盲点。

解释和理解深度神经网络的行为和语言处理的动态,以及更严格地识别其能力和缺陷是一项重要挑战,而我的研究实验室正在探索这些。

我们还研究分析和理解文本的构建块,从学习理解句子中的单词彼此连接的方式(句法)到单词「and」的行为和「on」、「for」等介词的意义。例如,当我们说「We sat there for hours」、「We sat there for lunch」、「He paid for me」时,单词「for」分别表示持续时间、目的和受益者。那么计算机如何理解哪个对应哪个呢?

另一个例子是我们对恢复言语丢失元素的研究。当我说「I'll give you 50 for it」时,你会猜测 50 指的是货币。当我说「She just turned 50」时,你知道 50 指的是年龄。当我说「No thanks, I've had three already」,你回顾整个对话找出 3 指的是什么。那么计算机如何做到这些呢?

或许我们面临的最大问题是我们如何从 NLP 的碎片理解转向一个更全局连贯的视角。过去十年,NLP 取得了很大发展,但是要使用目前可用的工具和技术,你必须是一名 NLP 专家。我们如何改变这种情况,用一种非专家也能使用的方式展示我们的研究成果?我认为这是我们今天面临的大问题。

Akshat Kumar

新加坡管理大学

Akshat Kumar 是新加坡管理大学信息系统学院的助理教授。他的研究兴趣包括在不确定条件下进行规划和决策,主要关注点是多智能体系统和城市系统优化。Kumar 在麻省大学阿默斯特分校获得了计算机科学博士学位。他的毕业论文获得了 ICAPS 2014 的杰出博士论文奖。他的研究还获得 ICAPS 2014 的杰出应用论文奖等奖项。

多智能体系统规划和推断

随着我们的社会和城市环境联系越来越紧密,我们面临着一个使用自主智能体的机会,从个人数字助手到自动驾驶汽车。此类基于智能体的系统可以极大地提高生产力和安全性,同时减少人类的努力和风险。我的研究旨在开发高计算效率的技术,通过使大型自主智能体团队制定到达常见目标的协调决策,同时处理好不确定性和信息有限的情况,来帮助实现这一目标。

这可能应用于自主出租车队伍优化等问题,该问题的关键在于根据出租车不断变化的局部环境(如同一区域的请求量和其他可用出租车数量)来有策略地定位出租车。我的研究解决了多个挑战,如向数千个智能体的扩展、不确定性、部分可观测性和城市环境下的资源约束优化。

我们正在开发可扩展的算法技术来控制和规划多智能体协调的大量正式模型,如分布式约束优化和去中心化、部分可观测的马尔可夫决策过程。此类模型中的确切规划变得越来越难以处理,即使是对小型多智能体系统来说。之前的方法存在可扩展性差或者依赖限制系统部署的假设等问题。我的博士论文介绍了多个通用扩展技术和框架,解决大量实际的多智能体规划问题。

除了基于搜索和动态规划的标准技术之外,我还发现多智能体规划和基于图模型与概率推断的机器学习之间的紧密联系。基于这些联系,我展示了大量机器学习方法对多智能体规划的帮助。此类联系向多智能体决策提供了多个新视角和可扩展性技术。

此外,我的研究还整合合一推断(lifted-inference)和图模型技术,利用城市系统通常由大量几乎一样的智能体(如出租车)组成的事实来进行可扩展性规划。城市规划者的关键问题是如何设计智能体的规范性策略,使得它们出现期望的集体行为,如减少交通拥堵或提高安全性。

我们正在为此类集体合作决策开发模型和算法,主要聚焦于设计多智能体强化学习方法,通过使用来自域模拟器的样本来优化策略。联系日益紧密的城市环境中的多智能体规划和控制提供了很多有趣的研究方向和大量实际应用的机会。

刘威

腾讯 AI Lab

刘威是腾讯 AI Lab 计算机视觉中心总监。他的论文旨在解决用于分类和搜索的大规模机器学习算法。刘威的研究兴趣涵盖机器学习数据挖掘信息检索计算机视觉。他也对开发用于处理大数据的二元编码和哈希技术特别感兴趣。刘威目前正在研究用于解决各种多媒体 AI 问题的深度时空模型。

多媒体 AI

智能手机等智能设备的广泛普及创造了海量的多媒体数据,这些数据也被上传到互联网上。多媒体数据迅猛增长,已经显著超出了传统方法所能有效处理、分析和理解的能力。我的研究重点是开发强大的 AI 算法来创建和处理多媒体内容,分析和理解各种多媒体数据所传达的语义含义,以及实现多媒体内容与特定用户偏好的精确匹配。

我的腾讯 AI Lab 研究团队正在研究使用深度学习模型获取多媒体数据的复杂特征和行为。我们关注三大主要的多媒体 AI 研究主题:内容的生成、理解和分发。

生成对抗网络已被广泛用于图像、文本和视频生成。但是,多媒体数据由具有不同特征的不同形式构成,这使得生成尤其困难。幸运的是,图像和文本等某些类型的多媒体数据通常是同时出现的,而且表达或共享了同样的含义。因此,在生成阶段,相关的多媒体形式可以彼此助益并得到顺畅生动的多媒体内容。

多媒体数据可能会有噪声且量非常大,并且通常是由用户生成和上传的。这些数据还可能具有多种形式、属性和标签。因此,理解这样的数据的含义可能会很有挑战性。但是,用户在互联网上访问多媒体数据时的行为(比如点击或分享)能为相关数据提供有噪声的标签,我们可以将这些标签用于执行稳健且可扩展的机器学习方法。

鉴于多种多媒体形式之间存在语义相关性,那我们就可以利用一种形式来解读另一种形式。这样,一种形式的多个标签和属性就可以传递给另一种。这能提升我们对多媒体数据的解读效果。我的研究团队正计划为理解大量多媒体数据构建一个深度学习平台。

至于多媒体内容分发,我们不仅要考虑数据的特征,还要兼顾用户的个人资料。我们可以通过多媒体内容理解来了解多媒体数据的标签、属性甚至语义含义。我们可以整合用户行为来对用户的特征和偏好进行画像。我的研究团队正在利用这种能力开发一种全新的深度学习架构,以便将用户的偏好与他们感兴趣的多媒体内容合理地匹配在一起。

上述范式已经培育了多种使用深度学习的关键 AI 技术,包括图像和视频编辑、基于图像和视频内容的推荐、视频摘要和视频分类。

Cynthia Matuszek

马里兰大学巴尔的摩分校

Cynthia Matuszek 是马里兰大学巴尔的摩分校计算机科学和电气工程系的助理教授。她的研究方向是机器人自然语言处理机器学习的交叉领域,以及它们在人机交互中的应用。她致力于构建非专业人员可直观自然地指导、控制和交互的机器人系统。Matuszek 从华盛顿大学的计算机科学与工程系获得博士学位。

在语言和环境中实现机器人学习

随着机器人变得更加强大和自动化,它们正从工业控制环境转向人类中心的空间,例如医学环境、工作场所和家庭。物理智能体将很快能为全新类型的需要智能的任务提供帮助。然而,在其实现之前,机器人必须能够和人以及嘈杂、不可预测的世界优雅地交互。

这项任务需要来自 AI 多个领域的洞察。有用的机器人需要在动态环境的演化任务中保持灵活性,这意味着它们必须能够学习并且有效地同人类交互。构建高级智能的、可以鲁棒地同多个领域的非专业人员交互的智能体需要来自机器人学、机器学习自然语言处理的洞察。

我的研究聚焦于开发统计学习方法,使机器人从和用户的多模态交互中获取关于世界的知识,同时学习理解新目标和任务中涉及的语言。与其分离地考虑这些问题,我们可以通过联合学习模型高效地并行处理它们,联合学习模型将语言、感知和任务理解当成强关联的训练输入。这使得每个通道都能提供手动强化的归纳偏置,强制得到在其它情况下不可控的搜索空间,并允许机器人从合理的多次持续交互中学习。

自然语言处理机器人对环境的理解结合可以提高两个方法的效率和效能。直观上,学习语言在它所描述的现实物理环境中会更加容易。并且如果人类能自然地和机器人交谈,教它们关于世界的知识,机器人会变得更加有用。我们已经利用这个洞察证明了机器人可以学习它预料以外的描述全新目标的语言。它们还学会了跟随指示执行任务,并解释未经预演的人类姿态,这些都是通过和非专业用户的交互得到的。

将这些不同的研究领域结合在一起,可以创建令机器人使用语言进行学习、适应和遵循指令的方法。理解人类的需求和交流过程仍然是一个长期存在的 AI 问题,该问题的大背景是理解机器人如何与人类环境进行优雅地交互。结合这些能力,我们可以开发出灵活、价格低廉的机器人,并将其融入到实际环境中。

Sinno Jialin Pan

新加坡南洋理工大学

Sinno Jialin Pan 是南洋理工大学计算机科学与工程学院的助理教授。他的研究领域包括机器学习及其在观点挖掘、社交媒体分析、文本信息抽取推荐系统和软件工程中的应用。

迁移学习

最近,深度学习监督学习算法对我们的生活产生了很大的影响,但它们也有明显的局限性。首先监督模型的学习很大程度上依赖于训练数据的标注数量与质量,但在很多现实应用中,高质量标注数据是很难获取的,所以模型的效果并不会很好。其次,由于如今很多监督学习算法都只针对特定领域,因此在改变领域后,模型的性能会有较大的损失。

我们的长期研究目标是使用迁移学习技术构建学习系统,以在很少的监督信息下适应新的相关领域。过去我们一直关注在不同的领域中发现新的特征,以便减少领域差异并保留原始数据的重要属性。利用学到的特征,我们可以复用标准监督学习方法进行跨领域预测。我们已经使用核嵌入和深度学习技术开发了一些高效的迁移学习方法,并将它们用于无线传感器网络、情感分析和软件工程等。

虽然迁移学习吸引了很多研究者的注意,但它仍然处于早期阶段。首先,迁移学习研究主要关注分类与回归问题。然而,很多现实应用并不能简单地建模为分类或回归问题,强化学习等优秀的机器学习范式可能更适合复杂的学习问题。根据不同深度强化学习问题构建的迁移学习,其目标不仅是提升预测结果,同时还可以减少不必要的工作量。原因在于用端到端的方式寻找最优策略非常耗时,这也是深度学习的瓶颈。

当前大多数迁移学习方法通常假设我们可以从不同任务数据中抽取任务间的相似性或通用特性。但实际上,不同任务间的数据在本地机器中可能是有分布的。因此由于昂贵的通信成本与数据隐私方面的考虑,将不同任务的数据集中到主机并执行迁移学习是不可能的。

因此在未来的五到十年间,我们准备探索两种新的迁移学习研究方向,即深度强化迁移学习迁移学习的分布式最优化。我们相信如果该研究取得成果,那么迁移学习在实际应用中将变得更加重要。

B. Aditya Prakash

弗吉尼亚理工学院

B. Aditya Prakash 是弗吉尼亚理工学院计算机科学系的助理教授,也是该学院的探索分析中心的成员。他获得了 ACM 2012 年信息与知识管理国际会议的最佳论文奖,IEEE 2011、2012 和 2017 年数据挖掘国际会议的最佳会议选集,还有 IEEE/ACM 2013 年社交网络分析与挖掘国际会议的最佳会议选集。Prakash 关注于数据挖掘、应用机器学习和数据库等领域,并重点研究了大规模现实网络和序列的大数据问题。

网络与传播分析

如基因调控、通信、医院和在线社交网络等无处不在的网络,它们有效地建模了网络安全、流行病学、社交系统、生物学等许多现实现象,这些网络都揭示了局部依赖性与大规模结构。此外,网络上类似于蔓延的传播过程能产生多种宏观行为,它们同样能导致很多挑战与令人兴奋的研究问题。例如通过人口网络模拟疾病的传播,查找电网故障点或快速检测在线病毒等。

这些大数据问题通常是很具有挑战性的,因为它们涉及很多现实应用与技术问题。因此理解这样的传播过程,最终可以利用它们对现实问题进行建模,例如流行病的传播可帮助构建更强大的免疫策略等。

为了应对这些问题,我们需要跨学科研究多个概念与技术,例如组合学和随机优化的理论与算法、异步计算系统、机器学习与统计学习模型和非线性动力学等。

我们一直希望使用一系列模型以统一的方式描述疫情传播。使用这些新颖的特征,我们团队正设计可行的免疫策略。此外,对于其中一些模型,我们制定了第一个可证明为近似最优策略的方法。

最后,我们希望能开发用于控制疾病传播的数据驱动型框架。该框架可以使用细粒度的监督数据和人际间的联系模型构建强大的免疫算法,它无缝地考虑了约束条件并融合了噪声异质的数据源。相比之下,以前大多数工作依赖于先验建模方法,它对基线策略可能是足够好的,但对监督数据的增长并不会表现出较大的提升。

我们的工作也表明,网络传播会在不同领域间产生惊人的联系。例如与网络安全研究员合作,我们使用集成模型构建了恶意软件传播的方式,它不仅能检测恶意软件同时还能监控危险人物的行为。

Maria Vanina Martinez

阿根廷国立南方大学

Maria Vanina Martinez 是阿根廷国家科学和技术研究委员会(CONICET)的兼职研究员,以及阿根廷国立南方大学的人工智能研究和开发实验室的成员。Martinez 从马里兰大学帕克分校获得了她的计算机科学 PhD,并曾在牛津大学计算机科学系中做博士后研究。她的研究兴趣包括在不确定条件下的推理、关系数据库知识库中的非一致性管理、可废止推理(defeasible reasoning)和论证。她目前的研究聚焦于开发一系列的容许非一致性和容许不确定性的数据的模型,用于从网页中提取数据库,并应用到可扩展的问答算法上。

实现混合的数据驱动和知识驱动的决策支持

大多数 AI 研究关注的要么是开发寻找和收集数据的自动化方法,要么就是构建知识表征模型。我相信接下来的一大步是更加深入自动化系统使用可用知识以增强人类在现实世界应用中的决策能力的方法。

为了开发智能决策支持系统(IDMSS),AI 可以自动将所获数据与来自用户的领域专业知识(哪些工具应该有用)结合起来。这可以通过结合数据驱动的 AI(机器学习)与基于知识的模型来实现。其中数据驱动的 AI 可以从原始数据中提取出尽可能多的信息,而基于知识的模型则可以处理更抽象和更复杂的认知任务。

我一直在研究为多种核心的 IDMSS 相关问题构建解决方案。为了让这样的系统能理解人以及与人合作,我重点研究了偏好建模、不一致或冲突信息的管理、理解知识和信念(belief)的动态以及建模社交互动对推理任务的影响。

在我的博士研究期间,我开发了一种框架,可用于管理关系数据库中不一致性的策略。之后,通过重点关注能让我们以不同方式建模不确定性的更具表现力的语言,我深化了在不一致性管理方面的研究。这些语言让我们可以定义更合理和计算更高效的语义,以便实现可包容不一致性的问答。此外,我也研究了信念修正理论(belief-revision theory)的一些方面及其与不一致性管理的联系。在这个过程中,我开发出了一些框架;相比于传统方法所用的框架,我开发的框架可通过从更全局的视角考虑冲突来融合和修正知识,利用有关问题所处的背景的信息,从而发现有意义结果。之后,我一直在研究社交媒体中的知识的动态,尤其是复杂社交网络中信念传播的建模。

截至目前,我已经从知识表征角度解决了这个研究问题,使用不确定知识定义了用于复杂推理的形式模型(formal model)。但是,基于知识的系统的形式化和 IDMSS 的实际构建是不一样的。我的下一个目标是通过设计开发数据驱动和知识驱动的混合方法来缩小这一差异,有效地找到原始异构数据、语义和抽象的推理模型之间的「甜蜜点」。

俞扬

南京大学

俞扬是南京大学计算机科学与技术系副教授,他在南京大学计算机科学与技术系获得博士学位。他的学位论文获得了全国优秀博士论文奖和计算机学会优秀博士论文奖。俞扬在 2008 年的亚太知识发现和数据挖掘会议、2011 年的遗传和进化计算会议(theory track)以及 2016 年的智能数据工程与自动化国际会议学习中均获得了最佳论文奖。

机器学习中的无导数优化

机器学习需要确定模型与环境是最佳拟合的。为了搜索该模型,学习系统的设计者必须考虑优化算法的能力,这是此类学习任务的关键。优化算法的局限性将限制模型类型、数据表征和学习目标的选择。基于梯度的优化被广泛使用,但是学习任务不总是那么简单可以使用该方法。大部分学习问题非常复杂,需要更强大的优化。

现在有一些强大的无导数优化工具,如进化算法。但是,很多人认为成功使用这些工具需要一些运气,因为关于这些工具需要多久才能获得优秀的结果、这些结果有多好、如何选择合适的参数等问题仍然没有明确的答案。

我的研究主要关注构建无导数(Derivative-Free)优化的理论基础。我们的研究覆盖了时间复杂度分析、近似率分析、算子作用(operators』 effects),最近还覆盖了高维空间和噪声环境中的优化。现在我们探索如何在不用担心非凸问题和不可导性(nondifferentiability)的情况下设计更好的学习系统。

对于组合优化,我们开发了 Pareto 优化方法(即 ParetoOpt),用于布尔约束函数(constrained Boolean function)。ParetoOpt 取得了目前子集选择问题最优的多项式时间近似率,因此使得我们能够创建当前最优的稀疏回归学习算法。ParetoOpt 还在更多设置中实现了最好的理论和实证性能,包括具备总成本约束的子集选择和单调集函数的近似率最小化等设置。

对于连续域优化,我们开发了 sampling-and-classification (SAC) 框架。我们证明该框架能够逼近多项式时间中任意函数的全局最优解。使用 SAC 可以解决高度非凸 ramp-loss 学习问题,性能优于使用当前最优的梯度方法。

目前,无导数优化在执行机器学习任务时仍然存在局限性。我们正在努力研究如何在现实世界中,大型带噪声的复杂任务克服该局限性。

我们认为机器学习调用整个 AI 的其他部分(如规划和 logic 表征)时,无导数优化将发挥更重要的作用。因此,我们会继续该领域的研究。

原文链接:https://www.computer.org/csdl/mags/ex/2018/01/mex2018010004.html

产业IEEE科学家
1
相关数据
英特尔机构

英特尔(NASDAQ: INTC)是全球半导体行业的引领者,以计算和通信技术奠定全球创新基石,塑造以数据为中心的未来。我们通过精尖制造的专长,帮助保护、驱动和连接数十亿设备以及智能互联世界的基础设施 —— 从云、网络到边缘设备以及它们之间的一切,并帮助解决世界上最艰巨的问题和挑战。

http://www.intel.cn/
相关技术
杨强人物

杨强现任香港科技大学新明工程学讲席教授、计算机科学和工程学系主任,大数据研究所所长 。他是人工智能研究的国际专家和领军人物,在学术界和工业界做出了杰出的服务和贡献,尤其近些年为中国人工智能(AI)和数据挖掘(KDD)的发展起了重要引导和推动作用。

深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

自动驾驶技术技术

从 20 世纪 80 年代首次成功演示以来(Dickmanns & Mysliwetz (1992); Dickmanns & Graefe (1988); Thorpe et al. (1988)),自动驾驶汽车领域已经取得了巨大进展。尽管有了这些进展,但在任意复杂环境中实现完全自动驾驶导航仍被认为还需要数十年的发展。原因有两个:首先,在复杂的动态环境中运行的自动驾驶系统需要人工智能归纳不可预测的情境,从而进行实时推论。第二,信息性决策需要准确的感知,目前大部分已有的计算机视觉系统有一定的错误率,这是自动驾驶导航所无法接受的。

动态规划技术

动态规划(也称为动态优化),是一种在数学、管理科学、计算机科学、经济学和生物信息学中使用的,通过把原问题分解为相对简单的子问题的方式求解复杂问题的方法。动态规划将复杂的问题分解成一系列相对简单的子问题,只解决一次子问题并存储它的解决方案(solution),下一次遇到同样的子问题时无需重新计算它的解决方案,而是简单地查找先前计算的解决方案,从而节省计算时间。动态规划适用于有最优子结构(Optimal Substructure)和重叠子问题(Overlapping Subproblems)性质的问题。

深度强化学习技术

强化学习(Reinforcement Learning)是主体(agent)通过与周围环境的交互来进行学习。强化学习主体(RL agent)每采取一次动作(action)就会得到一个相应的数值奖励(numerical reward),这个奖励表示此次动作的好坏。通过与环境的交互,综合考虑过去的经验(exploitation)和未知的探索(exploration),强化学习主体通过试错的方式(trial and error)学会如何采取下一步的动作,而无需人类显性地告诉它该采取哪个动作。强化学习主体的目标是学习通过执行一系列的动作来最大化累积的奖励(accumulated reward)。 一般来说,真实世界中的强化学习问题包括巨大的状态空间(state spaces)和动作空间(action spaces),传统的强化学习方法会受限于维数灾难(curse of dimensionality)。借助于深度学习中的神经网络,强化学习主体可以直接从原始输入数据(如游戏图像)中提取和学习特征知识,然后根据提取出的特征信息再利用传统的强化学习算法(如TD Learning,SARSA,Q-Learnin)学习控制策略(如游戏策略),而无需人工提取或启发式学习特征。这种结合了深度学习的强化学习方法称为深度强化学习。

信息检索技术

信息检索(IR)是基于用于查询检索信息的任务。流行的信息检索模型包括布尔模型、向量空间模型、概率模型和语言模型。信息检索最典型和最常见的应用是搜索引擎。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

知识表征技术

知识表示是人工智能的一部分,它关心代理人(agent)如何在决定做什么时使用它所知道的知识, 这是一门将思考作为计算过程的研究。严格来说知识表示和知识推理是同一研究领域密切相关的两个概念,但实际上知识表示也经常用来直接指代包含推理的广义概念,因此在这里沿用后者,即知识表示等价于知识表示与推理。这是一个涉及使用符号来表示一些推定代理人(putative agent)相信的命题集合的研究领域。 但是在另一方面,我们同时不想坚持这些符号必须代表代理人相信的主张。因为实际上代理人可能相信无数的命题,但只有一部分被表示出来。 而弥合所代表的事物与所相信的事物之间的差距将成为推理(reasoning)在知识表示中所承担的责任。因此,推理一般来说是对代表一系列代理所相信的命题符号进行形式化处理,以产生新的表征。 符号需要比它们表示的命题更容易操纵,因此它们必须足够具体,以便我们可以操纵它们(移动它们,拆开它们,复制它们,串起它们) 构建新命题的表征。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

调度技术

调度在计算机中是分配工作所需资源的方法。资源可以指虚拟的计算资源,如线程、进程或数据流;也可以指硬件资源,如处理器、网络连接或扩展卡。 进行调度工作的程序叫做调度器。调度器通常的实现使得所有计算资源都处于忙碌状态,允许多位用户有效地同时共享系统资源,或达到指定的服务质量。 see planning for more details

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

时间复杂度技术

在计算机科学中,算法的时间复杂度是一个函数,它定量描述了该算法的运行时间。这是一个代表算法输入值的字符串的长度的函数。时间复杂度常用大O符号表述,不包括这个函数的低阶项和首项系数。使用这种方式时,时间复杂度可被称为是渐近的,亦即考察输入值大小趋近无穷时的情况。例如,如果一个算法对于任何大小为 n (必须比 n0 大)的输入,它至多需要 5n3 + 3n 的时间运行完毕,那么它的渐近时间复杂度是 O(n3)。

自动驾驶汽车技术

自动驾驶汽车,又称为无人驾驶汽车、电脑驾驶汽车或轮式移动机器人,是自动化载具的一种,具有传统汽车的运输能力。作为自动化载具,自动驾驶汽车不需要人为操作即能感测其环境及导航。

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度,其目的是进行资源的优化。常见的规划方法包括经典规划(Classical Planning)、分层任务网络(HTN)和 logistics 规划。

导数技术

导数(Derivative)是微积分中的重要基础概念。当函数y=f(x)的自变量x在一点x_0上产生一个增量Δx时,函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限a如果存在,a即为在x0处的导数,记作f'(x_0) 或 df(x_0)/dx。

运筹学技术

运筹学,是一门应用数学学科,利用统计学和数学模型等方法,去寻找复杂问题中的最佳或近似最佳的解答。运筹学经常用于解决现实生活中的复杂问题,特别是改善或优化现有系统的效率。研究运筹学的基础知识包括矩阵论和离散数学,在应用方面多与仓储、物流等领域相关。因此运筹学与应用数学、工业工程专业密切相关。

全局最优技术

信念修正技术

信念修正是变更信念来采纳新的信息片段的过程。在哲学、数据库和人工智能对理性助理的设计中都研究信念修正的逻辑形式化。 通常区分两类变更: 更新:新的信息有关于现在的状况,而旧的信念提及的是过去;更新是改变旧信念来接受变更的操作。 修正:旧信念和新信息都提及同一个状况;在新旧信息之间存在的矛盾被解释为旧信息不如新信息可靠;修正是插入新信息到旧信念的集合中而不生成矛盾的过程。 信念修正的主要假定是最小化变更:变更前后的知识应当尽可能类似。在更新的情况下,这个原理被形式化为惯性假定。在修正的情况下,这个原理强制变更尽可能多的保留信息。

知识库技术

知识库是用于知识管理的一种特殊的数据库,以便于有关领域知识的采集、整理以及提取。知识库中的知识源于领域专家,它是求解问题所需领域知识的集合,包括基本事实、规则和其它有关信息。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

机器人技术技术

机器人学(Robotics)研究的是「机器人的设计、制造、运作和应用,以及控制它们的计算机系统、传感反馈和信息处理」 [25] 。 机器人可以分成两大类:固定机器人和移动机器人。固定机器人通常被用于工业生产(比如用于装配线)。常见的移动机器人应用有货运机器人、空中机器人和自动载具。机器人需要不同部件和系统的协作才能实现最优的作业。其中在硬件上包含传感器、反应器和控制器;另外还有能够实现感知能力的软件,比如定位、地图测绘和目标识别。之前章节中提及的技术都可以在机器人上得到应用和集成,这也是人工智能领域最早的终极目标之一。

推荐系统技术

推荐系统(RS)主要是指应用协同智能(collaborative intelligence)做推荐的技术。推荐系统的两大主流类型是基于内容的推荐系统和协同过滤(Collaborative Filtering)。另外还有基于知识的推荐系统(包括基于本体和基于案例的推荐系统)是一类特殊的推荐系统,这类系统更加注重知识表征和推理。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

数据挖掘技术

数据挖掘(英语:data mining)是一个跨学科的计算机科学分支 它是用人工智能、机器学习、统计学和数据库的交叉方法在相對較大型的数据集中发现模式的计算过程。 数据挖掘过程的总体目标是从一个数据集中提取信息,并将其转换成可理解的结构,以进一步使用。

多智能体规划技术

在计算机科学中,多智能体规划涉及协调多个“智能代理”的资源和活动。

监督学习技术

监督式学习(Supervised learning),是机器学习中的一个方法,可以由标记好的训练集中学到或建立一个模式(函数 / learning model),并依此模式推测新的实例。训练集是由一系列的训练范例组成,每个训练范例则由输入对象(通常是向量)和预期输出所组成。函数的输出可以是一个连续的值(称为回归分析),或是预测一个分类标签(称作分类)。

情感计算技术

情感计算(也被称为人工情感智能或情感AI)是基于系统和设备的研究和开发来识别、理解、处理和模拟人的情感。它是一个跨学科领域,涉及计算机科学、心理学和认知科学(cognitive science)。在计算机领域,1995年Rosalind Picard 首次提出affective computing。研究的目的是使得情感能够模拟和计算。这个技术也可以让机器人能够理解人类的情绪状态,并且适应它们的行为,对这些情绪做出适当的反应。这是一个日渐兴起的兴欣领域

大数据技术技术

大数据,又称为巨量资料,指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。

对抗机器学习技术

对抗机器学习是一个机器学习与计算机安全的交叉领域。对抗机器学习旨在给恶意环境下的机器学习技术提供安全保障。由于机器学习技术一般研究的是同一个或较为稳定的数据分布,当部署到现实中的时候,由于恶意用户的存在,这种假设并不一定成立。比如研究人员发现,一些精心设计的对抗样本(adversarial example)可以使机器学习模型失败输出正确的结果。

分类问题技术

分类问题是数据挖掘处理的一个重要组成部分,在机器学习领域,分类问题通常被认为属于监督式学习(supervised learning),也就是说,分类问题的目标是根据已知样本的某些特征,判断一个新的样本属于哪种已知的样本类。根据类别的数量还可以进一步将分类问题划分为二元分类(binary classification)和多元分类(multiclass classification)。

迁移学习技术

迁移学习是一种机器学习方法,就是把为任务 A 开发的模型作为初始点,重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务,虽然大多数机器学习算法都是为了解决单个任务而设计的,但是促进迁移学习的算法的开发是机器学习社区持续关注的话题。 迁移学习对人类来说很常见,例如,我们可能会发现学习识别苹果可能有助于识别梨,或者学习弹奏电子琴可能有助于学习钢琴。

关系数据库技术

关系数据库,是创建在关系模型基础上的数据库,借助于集合代数等数学概念和方法来处理数据库中的数据。现实世界中的各种实体以及实体之间的各种联系均用关系模型来表示。关系模型是由埃德加·科德于1970年首先提出的,并配合“科德十二定律”。现如今虽然对此模型有一些批评意见,但它还是数据存储的传统标准。

多核学习技术

多内核学习指的是一组机器学习方法,它们使用预定义的一组内核,并学习内核的最优线性或非线性组合作为算法的一部分。

博弈论技术

博弈论,又译为对策论,或者赛局理论,应用数学的一个分支,1944年冯·诺伊曼与奥斯卡·摩根斯特恩合著《博弈论与经济行为》,标志着现代系统博弈理论的的初步形成,因此他被称为“博弈论之父”。博弈论被认为是20世纪经济学最伟大的成果之一

语义网技术

语义网是由万维网联盟的蒂姆·伯纳斯-李在1998年提出的一个概念,它的核心是:通过给万维网上的文档蒂姆加能够被计算机所理解的语义,从而使整个互联网成为一个通用的信息交换媒介。语义万维网通过使用标准、置标语言和相关的处理工具来扩展万维网的能力。

多智能体系统技术

一个多智能体系统,是由一个在一个环境中交互的多个智能体组成的计算系统。多智能体系统也能被用在解决分离的智能体以及单层系统难以解决的问题。智能可以由一些方法,函数,过程,搜索算法或加强学习来实现。尽管存在相当大的重叠,然而一个多智能体系统并不总是一个基于智能体的模型表现一致。

马尔可夫决策过程技术

马尔可夫决策过程为决策者在随机环境下做出决策提供了数学架构模型,为动态规划与强化学习的最优化问题提供了有效的数学工具,广泛用于机器人学、自动化控制、经济学、以及工业界等领域。当我们提及马尔可夫决策过程时,我们一般特指其在离散时间中的随机控制过程:即对于每个时间节点,当该过程处于某状态(s)时,决策者可采取在该状态下被允许的任意决策(a),此后下一步系统状态将随机产生,同时回馈给决策者相应的期望值,该状态转移具有马尔可夫性质。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

生成对抗网络技术

生成对抗网络是一种无监督学习方法,是一种通过用对抗网络来训练生成模型的架构。它由两个网络组成:用来拟合数据分布的生成网络G,和用来判断输入是否“真实”的判别网络D。在训练过程中,生成网络-G通过接受一个随机的噪声来尽量模仿训练集中的真实图片去“欺骗”D,而D则尽可能的分辨真实数据和生成网络的输出,从而形成两个网络的博弈过程。理想的情况下,博弈的结果会得到一个可以“以假乱真”的生成模型。

语义网络技术

语义网络常常用作知识表示的一种形式。它其实是一种有向图;其中,顶点代表的是概念,而边则表示的是这些概念之间的语义关系。

信息抽取技术

信息/数据抽取是指从非结构化或半结构化文档中提取结构化信息的技术。信息抽取有两部分:命名实体识别(目标是识别和分类真实世界里的知名实体)和关系提取(目标是提取实体之间的语义关系)。概率模型/分类器可以帮助实现这些任务。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

人机交互技术

人机交互,是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器,也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流,并进行操作。小如收音机的播放按键,大至飞机上的仪表板、或是发电厂的控制室。

深度神经网络技术

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

进化计算技术

进化计算是遗传算法、进化策略、进化规划的统称。进化计算起源于20世纪50年代末,成熟于20世纪80年代,目前主要被应用于工程控制、机器学习、函数优化等领域。

暂无评论
暂无评论~