AAAI-17获奖论文深度解读(上):从无标签监督学习到人工智能道德框架

AAAI 2017 大会刚刚闭幕,会议围绕人工智能的研究与发展进行了多场演讲、讲座、Workshop 等活动,吸引了世界各地的人工智能从业者参加。当然,众所周知的是,华人是本次大会不可忽视的一支力量。

依照惯例,AAAI 在会议期间评选了一些获奖论文,其中包括两篇杰出论文(Outstanding Paper,其中有一篇学生论文)以及经典论文、鼓励创新研究的 Blue Sky Idea Awards 获奖论文等。

在 AAAI 获奖论文公布之后,机器之心邀请多位技术分析师对这些论文进行了深度解读,为我们分析了这些论文的杰出和创新之处,带我们领略了人工智能和机器学习领域的最前沿的研究成果和思想。以下即为对本届 AAAI 上获奖论文的解读。

AAAI-17 杰出论文奖(Outstanding Paper Award)

论文标题:使用物理学和领域知识的神经网络的无标签监督(Label-Free Supervision of Neural Networks with Physics and Domain Knowledge)

作者:Russell Stewart and Stefano Ermon

关于该奖:AAAI 杰出论文奖获奖论文体现了技术贡献和阐述的最高标准。这个奖通常是将给在计算机科学领域实现了广度和独特性的研究者,这些研究通常构建了不同科系和学科之间的桥梁。

论文解读

本届的杰出论文《Label-Free Supervision of Neural Networks with Physics and Domain Knowledge》的灵感来自于人类的学习过程,其利用了先前的领域知识来将输出空间约束到一个特定的学习结构,而不是简单的从输入到输出的映射。这种做法让该论文不需再使用大量有标签数据来监督神经网络,而是让神经网络学习更见先进的结构。通常来说,当前将不使用标签进行学习方法称为无监督学习(unsupervised learning),比如说自编码器(autoencoder)。无监督学习方法通常是将输入数据聚类(cluster)成不同的分组,这种方法虽然高效,但往往缺乏有意义的解读。与无监督学习相反,通过没有明确标签但有 ground truth 法则的数据进行训练,我们可以得到两点好处:1)花费在标注上的工作量减少,2)通用性提升,因为单一一套约束可以无需重新标注就被应用到多个数据集上。

图 1:约束学习的目标是在无需提供标签 y 的情况下恢复变换 f。我们并没有那么做,我们则是寻找一个能够获取 g 所要求的结构的映射 f.

要将先验知识整合进监督学习中,通常有两种方式:1)通过限制能特定假设类 F 的可能函数,2)通过为 F 中的特定函数增加一个 a-prior preference,其对应的正则化(regulation)为 R(f),其中 f 属于 F。

在这篇论文中,作者重点关注了约束函数 g:X*Y 根据先验知识(即物理法则)映射到 R,以在学习过程偏离先验知识时惩罚学习结构——这些先验知识是抽象的高层面思考,而不仅仅是标签。在这个训练场景中,标签 y 仅用于评估,而且其对于发现 f* 属于 F 的最优规则并不是必需的。为了确保收敛以找到正确的 f*,我们也可能需要为监督机器(supervise machine)增加额外的正则化项。这个设计约束函数 g 和正则化项的过程确实是一种监督形式。

该论文提供了三个案例:1)跟踪一个自由落体,2)跟踪一个行人的位置,3)根据因果关系检测目标。

专业用户独享

本文为机器之心深度精选内容,专业认证后即可阅读全文
开启专业认证
理论AAAIAAAI 2017理论获奖论文博弈论无监督学习
1
暂无评论
暂无评论~