Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

魔王、蛋酱、张倩报道

30年前的热门研究,今获经典论文奖,贝叶斯网络之父旧论文「考古」

一篇 30 年前的论文,因为一次获奖,又重新出现在世人眼前。

近日,图灵奖得主、贝叶斯网络之父 Judea Pearl 在推特上提到,自己在三十年前与当时的博士生 Rina Dechter、Itay Meiri 合著的论文《时间约束网络(Temporal Constraint Networks)》,获得了由人工智能顶级国际期刊 AIJ 颁发的 2020 年经典论文奖。

这篇论文发表于 1991 年,涉及的主题是上世纪八十年代的热门话题——时间约束。目前,该论文在谷歌学术上的被引用次数接近 2500。论文一作 Rina Dechter 被认为是「深度学习」一词的首倡者。

这篇论文的获奖理由如下:

这篇影响深远的论文介绍了用于定量时间推理的时间约束满足问题(TCSP)。TCSP 及其特例——简单时间问题(STP,可在多项式时间内解决)在规划调度等应用中得到广泛使用。该论文中简洁优雅的问题描述为后续多个方向的研究提供了启发,包括时间不确定性、偏好和其他扩展问题。

论文内容简介

论文链接:http://ftp.cs.ucla.edu/pub/stat_ser/r113-L-reprint.pdf

这篇论文将基于网络的约束满足方法进行扩展,使其包含连续变量,从而为处理时间约束提供了框架。在这个叫做时间约束满足问题(TCSP)的框架中,代表时间点和时间信息的变量由一组一元和二元约束进行表示,每一个指定一组时间间隔。该框架的独特特征在于允许处理度量信息,即评估不同事件之间的时间差。

该论文展示了一些算法,它们可用于执行以下推理任务:找到给定事件发生的所有合理时间;找到两个给定事件之间的所有可能关系;生成与给定信息一致的一个或多个场景。

该论文对简单时间问题(STP)和通用时间问题进行区分,前者对任意一对时间点至多认可一个间隔约束(interval constraint)。该研究表明,包含 Vilain 和 Kautz 点代数主要部分的 STP 可以在多项式时间内解决。对于通用 TCSP,该研究展示了一种执行三个推理任务的分解机制,并提出了多种能够改善效率的技术。此外,这篇论文还研究了路径相容算法在预处理时间问题上的适用性,展示了其终止,限制了其复杂度。

研究贡献

这篇论文提出了一种基于约束网络形式的时间推理统一方法。使用约束网络形式,该研究做出了以下几点贡献:

  1. 为相关的多种算法机制提供了形式化基础,从而允许分析其复杂度和应用范围;

  2. 提供了一种成本较低的表示——minimal network,它可以编码成对事件点之间的所有时间关系,包括时间差的绝对界限;

  3. 提出了一种基于给定约束,高效生成特定时间场景的机制。

示例详解

作者在论文中给出了一个例子,示例中出现了多个事件和时间点,并利用这个示例介绍了该研究的主要思想。具体示例如下所示:

二元约束网络(二元 TCSP)包括一组变量 X_1 ..... X_n,和一组一元和二元约束。这样的网络可被表示为一个有向约束图。同理,示例 1.1 也可表示为有向约束图,如下图 1 所示:

该研究对基于约束的二元运算进行了定义:并集(union)、交集(interp)和组合(composition)。

下图 2 展示了交集和组合运算:

当 TCSP 中所有约束指定一个间隔时,这是一个简单时间问题(STP)。该研究将 STP 和有向边缘权重图(directed edge-weighted graph)联系起来,这类图叫做距离图(distance graph)。

假设示例 1.1 中 John 用汽车,Fred 用拼车,则我们可以得到一个 STP:

其距离图如下图 3 所示:

基于图 3,我们可以得到对应的 minimal network,如下所示:

现在回到通用 TCSP 问题,关于这类问题,有如下定理:

一种解决通用 TCSP 的直接方式是:将其分解为多个 STP,然后各个击破,最后再把结果组合起来。

示例 1.1 的 minimal network 参见下表 3:

此外,该论文介绍了路径相容算法及其弱化版本——有向路径相容在 TCSP 框架中的适用性。

给出一个 TCSP T,及其相关的约束图  G = (V, E) 和排序 d,通过 DPC 算法可以实现有向路径相容。

在示例 1.1 中,当排序 d = (0, 1, 2, 3, 4) 时应用 DPC 算法,可以得到如下网络:

Rina Dechte 与 Judea Pearl

AIJ 经典论文奖旨在表彰 15 年前(或更早)对 AI 领域产生重大影响的杰出论文,此次获奖的论文甚至发表于 30 年前。当时,人工智能领域还没有迎来第三次发展高潮,几位获奖者也是当之无愧的领域先驱人物。

「Deep Learning」概念提出者 Rina Dechter

这篇论文的一作 Rina Dechter 曾是 Judea Pearl 指导的博士生,她 1973 年在希伯来大学取得数学与统计学士学位,1985 年在加州大学洛杉矶分校取得计算机科学博士学位。研究领域为人工智能中的自动推理。

在论文《Temporal Constraint Networks》发表的同年,Rina Dechter 获得了美国国家科学基金会颁发的总统青年研究者奖。

1996 年,Rina Dechter 成为加州大学欧文分校(UC Irvine)的正式教授,并工作至今。Rina Dechter 于 1994 年当选为 AAAI Fellow,后又于 2013 年当选为 ACM Fellow。2011 年到 2018 年间,她担任 AIJ 杂志的联合主编。

值得一提的是,Rina Dechter 被认为是提出术语「深度学习」的人。尽管多层感知器是在 1965 年发明的,1971 年也出现了一个 8 层神经网络,但「深度学习」一词是 Rina Dechter 于 1986 年率先在论文中使用的。

Rina Dechter 在 1986 年的论文《LEARNING WHILE SEARCHING IN CONSTRAINT-SATISFACTION-PROBLEMS》中首次提到「deep learning」。

贝叶斯网络之父、图灵奖得主 Judea Pearl

比 Rina Dechter 更有声望的,是她的导师 Judea Pearl。

提到 Judea Pearl,机器学习领域的读者应该不会陌生。他是美国计算机科学家和哲学家,以倡导人工智能的概率方法和贝叶斯网络的发展而闻名,建立了基于结构模型的因果和反事实推理理论。2011 年,Judea Pearl 获得计算机科学最高奖项图灵奖,获奖理由是:「通过发展概率和因果推理的微积分对人工智能做出了重大贡献」。

30 年前,人工智能研究的一个主要挑战是对机器进行编程,以便将潜在的原因与一系列可观察到的情况联系起来。Pearl 用一种叫做「贝叶斯网络」的方案来解决这个问题。贝叶斯网络可以让机器回答这样一个问题——给出一个从非洲回来的发烧且身体疼痛的病人,他 / 她最有可能患上的是疟疾。2011 年,Pearl 获得图灵奖,这很大程度上要归功于贝叶斯网络

但在 Pearl 看来,人工智能领域已经陷入了概率关联(probabilistic association)的泥潭。近几年,新闻头条吹捧机器学习和神经网络的最新突破,比如计算机可以下围棋和驾驶汽车。但 Pearl 对此感到腻味。在他看来,当今人工智能领域的最新技术仅仅是上一代机器所做事情的强化版:在大量数据中找到隐藏的规律。他曾表示:「所有令人印象深刻的深度学习成果都只是曲线拟合。」

那么,怎样才能推动 AI 社区解决这一问题呢?在之前的采访中,Pearl 认为,我们需要一场「因果革命」。研究者应该考虑采用因果推断模型,从因果而非单纯的数据角度进行研究。他认为,我们在过去一段时间错过了对因果推断的研究机会,这原本是科学研究的核心:寻找变量的因果关系。

在很长一段时间里,统计机器学习主要关注对表征的拟合,寻找的是变量之间的相关性,而非潜在的因果性。这样的认识使科学研究停留在较浅的关联层面,导致模型的鲁棒性和可解释性丧失,阻断了进一步探究干预变量以及反事实推断(即假设某一变量完全相反而其他变量不变时,该变量对结果的影响)的能力。Pearl 认为,智能的机器应该能够彼此沟通交流,通过提出反事实对话(如「你应该怎样做」)而作出更好的表现。

基于此,Pearl 和他的同事在 2018 年完成了著作《The Book of Why: The New Science of Cause and Effect》。Pearl 在书中详细地阐述自己在这一领域的研究成果,希望能够促进人们反思当前的研究方向。

Pearl 期望因果推理能为机器提供人类水平的智能。他解释说,它们可以更有效地与人类沟通,甚至可以获得道德实体(moral entity)的地位,具有自由意志和作恶的能力。

Judea Pearl 及其学生的思想经过了时间的洗礼,在 30 年后重新获得认可。对此,Pearl 调侃说,「感觉自己像只恐龙」。也许,这正是投身于科学研究的魅力所在。

参考链接:

https://en.wikipedia.org/wiki/Rina_Dechter

https://www.ics.uci.edu/~dechter/new_site/cv.pdf

https://www.sohu.com/a/209613608_99964548

理论贝叶斯网络之父Judea Pearl经典论文奖贝叶斯网络
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

曲线拟合技术

曲线拟合(fit theory),俗称拉曲线,是一种把现有数据透过数学方法来代入一条数式的表示方式。科学和工程问题可以通过诸如采样、实验等方法获得若干离散的数据,根据这些数据,我们往往希望得到一个连续的函数(也就是曲线)或者更加密集的离散方程与已知数据相吻合,这过程就叫做拟合 (fitting)。

因果推理技术

基于因果关系的一类推理方法,是一种常见推理模式,涉及观察到的共同效应的原因的概率依赖性。

调度技术

调度在计算机中是分配工作所需资源的方法。资源可以指虚拟的计算资源,如线程、进程或数据流;也可以指硬件资源,如处理器、网络连接或扩展卡。 进行调度工作的程序叫做调度器。调度器通常的实现使得所有计算资源都处于忙碌状态,允许多位用户有效地同时共享系统资源,或达到指定的服务质量。 see planning for more details

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度,其目的是进行资源的优化。常见的规划方法包括经典规划(Classical Planning)、分层任务网络(HTN)和 logistics 规划。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

约束满足问题技术

约束补偿问题(CSPs)是种数学的问题,其定义为一组物件(object),而这些物件需要满足一些限制或条件。 CSPs将其问题中的单元(entities)表示成在变数上有限条件的一组同质(homogeneous)的集合, 这类问题透过"约束补偿方法"来解决。CSPs是人工智能和运筹学 的热门主题,因为它们公式中的规律,提供了共同基础来分析、解决很多看似不相关的问题。 CSPs通常呈现高复杂性, 需要同时透过启发式搜索 和 联合搜索 的方法,来在合理的时间内解决问题。 布林可满足性问题 (SAT), 可满足性的理论 (SMT)和回答集程式设计 (ASP) 可以算是某种程度上的约束补偿问题。

贝叶斯网络技术

贝叶斯网络(Bayesian network),又称信念网络或是有向无环图模型,是一种概率图型模型。例如,贝叶斯网络可以代表疾病和症状之间的概率关系。 鉴于症状,网络可用于计算各种疾病存在的概率。

因果推断技术

因果推断是基于效应发生的条件得出关于因果关系的结论的过程。因果推理和关联推理之间的主要区别在于,前者分析了原因发生变化时效应变量的反应。事情发生的科学被称为原因学。Causal Inference是Causal reasoning一个例子。

推荐文章
暂无评论
暂无评论~