David Adam作者胡曦月 路雪编译

机器学习照进艺术史,这个AI可以鉴别名画


机器学习正在帮助专家找出哪位画家画了哪幅作品。

今年三月,一伙艺术品大盗闯入意大利西北部的一座教堂,他们以为自己偷窃的是佛兰德斯画派大师小彼得·勃鲁盖尔(Pieter Brueghel the Younger)的十七世纪作品。然而事实上,当地警察早已得到消息,并将价值三百万欧元的作品《耶稣受难像》(Crucifixion)替换成了廉价的复制品。

公平地说,勃鲁盖尔许多作品确实看起来几乎可以互换,在宾夕法尼亚州的费城艺术博物馆中就悬挂着同样归于他名下的一幅同名相似画作。而且,这两幅画很有可能是小勃鲁盖尔从他独具开创性的父亲老彼得·勃鲁盖尔(Pieter Bruegel the Elder)的另一幅画复制而来,而老勃鲁盖尔的画作同样也严重影响了他另外一个儿子老扬·勃鲁盖尔(Jan Brueghel the Elder)。在那个艺术家多产的世代,艺术家们复制彼此甚至自己的作品,以至于寻找画作的归属简直是噩梦。

加州大学伯克利分校艺术史学家 Elizabeth Honig 致力于研究这些复杂的问题,以揭示北方文艺复兴时期艺术中某个画家创作了哪些作品,以及他又影响了哪些人。现在,她开始寻求计算机的帮助了。

Honig 拥有一个包含 1500 余幅勃鲁盖尔家族画作数字复制品的数据库,而这些作品大部分都被归到 Jan 的名下。2016 年,她与法国和美国的人工智能研究者发起了一个不同寻常的合作,他们部署了一个当时最先进的计算机视觉系统来逐个追踪这些作品,并分析作品之间的相似性。其他艺术史学家也看到了这其中的机会,利用机器学习为之前局限于观看者主观视角的理论和观点提供经验支持。

Honig 称,计算机可以「更容易地获取更多细节」。以风车为例:她的 Breughel 数据库中包含了数百张包含这一元素的画作。算法从多幅画作中获取相同的结构图像,甚至是翻转的情况。它还可以精确定位狮子、狗和其他人物的副本。许多文艺复兴时期艺术家的工作室是联合创作空间,因此计算机技术还可以帮助 Honig 了解不同艺术家之间的合作方式(无论他们是否属于同一家族)。Honig 说:「彼得·保罗·鲁本斯画了一些人物,然后老扬·勃鲁盖尔画马、狗和狮子,最后将它们结合起来。」

基于历史记录和对作品的近距离观察,许多艺术史学家推测小彼得·勃鲁盖尔和老扬·勃鲁盖尔的许多画作都是按照这种方式完成的。而计算机可以帮助证明这一点。Honig 说:「它解决了关于作品创作过程的许多问题。」

在这个项目中,计算机科学家也有自己的考虑。对于他们而言,Honig 的收藏是一个用来扩展算法的完美数据集。法国国立路桥学校(ÉcoledesPonts ParisTech)的计算机视觉深度学习专家 Mathieu Aubry 称,用算法处理画作挑战了程序的模式匹配能力。其困难取决于媒介和颜色的差异。他解释道:「在未经训练的情况下,计算机视觉无法识别出素描和油画中的房子是一样的。」素描线条清晰,而油画的边缘较为模糊,这种差异可能会使算法混淆。

标注相同对象或者教计算机寻找形状等特定相似性需要耗费大量时间。因此,Aubry 及其同事使用无监督深度学习技术,令算法在输入图片后自行寻找相似性。他认为得到的结果还可以用于 AI 视觉相关的实际应用中,如自动驾驶汽车等。

今年 3 月,他的团队在 arXiv 上发表了相关研究(https://arxiv.org/abs/1903.02678),该研究被 CVPR 2019 接收。Aubry 表示,尽管无监督深度学习通常需要消耗大量算力,但它可以免受人类先入之见的影响。因此,它可以很好地避免偏见,比如只关注图像主要特征。

计算机辨别趋势

新泽西州立罗格斯大学(皮斯卡特维校区)正在使用类似的技术,描绘不同艺术家的风格如何随着时间而定义和发展。艺术史学家 Marian Mazzone 是罗格斯艺术与人工智能实验室的成员,她说:「我们有一些无法证明的理论,计算机科学也许可以帮助我得到关于这些问题的经验性答案。」她与实验室负责人 Ahmed Elgammal 合作,对文艺复兴时期至流行艺术五个世纪以来的 77,000 件艺术品进行了数字分析(相关研究参见:https://arxiv.org/abs/1801.07729)。令团队惊讶的是,计算机使用无监督学习可以将这些艺术作品按时间顺序排列。

该项目证实了二十世纪著名艺术史学家 Heinrich Wolffin 的理论。他认为,艺术风格的转变可以根据五种二元特征进行分析和分类。其中之一是作品是「线描」(轮廓主导,如 Sandro Botticelli 的作品)还是「图绘」(更多地依赖于描绘光和影的笔触,如 Tintoretto 的画作)。罗格斯艺术与人工智能实验室负责人 Elgammal 认为,AI 首次使艺术史成为将理论与观察进行对比的预测性科学。

在其他地方,AI 正在用于解决艺术史物质遗产长期以来遭受的问题:损坏。例如,来自加拿大温哥华初创公司 Arius Technology 的 Verus Art 系统正在部署一个 3D 扫描打印系统,对艺术品进行精确复制,甚至可以复制纹理笔触和颜料色调。该系统最初设计目的是研究达芬奇作品《蒙娜丽莎》的损坏。对于教育、外展和存档而言,「备份」画作可能还有另外一种用途:挫败那些比看不出复制品的盗贼眼光更加敏锐的贼。

论文:Discovering Visual Patterns in Art Collections with Spatially-consistent Feature Learning

论文链接:https://arxiv.org/abs/1903.02678

摘要:该研究的目的是从大量艺术品中发现几乎重复的图案模式。由于艺术媒介(油画、粉彩画、素描等)的差异以及复制过程中的固有偏差,这一目标比标准实例挖掘难度更大。其中的关键技术在于通过使用自监督学习,在特定艺术收藏上对标准深度特征进行微调,使其适应这一任务,具体来说就是使用相邻特征匹配之间的空间一致性作为监督微调信号。经过调整的特征可以实现更精确的匹配(不受风格差异的影响),并且可以与基于几何验证的标准模式发现方法一起使用,以识别数据集中的重复模式。

该方法在多个不同的数据集上进行评估,并显示出了非常好的定性发现结果。而在定量评估方面,研究者在老扬·勃鲁盖尔及其工作室的 1587 件艺术品的数据集中标注了 273 个近似重复的细节。除了艺术作品,研究者还展示了算法在 Oxford5K 照片数据集的定位上以及在 LTLL(Large Time Lags Location)数据集上的历史照片定位方面的改进。

图 1:算法自动发现的重复视觉图案示例。

图 2:该方法的特征学习策略。

图 5:训练特征在勃鲁盖尔数据集上的检测示例。

参考链接:https://www.nature.com/articles/d41586-019-01794-3

理论自监督学习无监督学习Nature计算机视觉
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

模式匹配技术

在计算机科学中,模式匹配就是检查特定序列的标记是否存在某种模式的组成部分。 与模式识别相比,匹配通常必须是精确的。 模式通常具有序列或树结构的形式。 模式匹配的使用包括输出令牌序列内的模式的位置(如果有的话),输出匹配模式的某个分量,以及用另一个令牌序列(即搜索和替换)替换匹配模式。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

自动驾驶汽车技术

自动驾驶汽车,又称为无人驾驶汽车、电脑驾驶汽车或轮式移动机器人,是自动化载具的一种,具有传统汽车的运输能力。作为自动化载具,自动驾驶汽车不需要人为操作即能感测其环境及导航。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

数据库技术

数据库,简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据运行新增、截取、更新、删除等操作。 所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

加州大学伯克利分校机构

加利福尼亚大学伯克利分校,简称加州大学伯克利分校,又常被译为加利福尼亚大学伯克莱分校,位于美国加利福尼亚州旧金山湾区伯克利市,是一所世界著名的公立研究型大学。其许多科系位于全球大学排行前十名,是世界上最负盛名的大学之一,常被誉为美国乃至世界最顶尖的公立大学。

https://www.berkeley.edu/
自监督学习技术

一个例子中的内容特别多,而用一个例子做一个任务,就等于把其他的内容浪费了,因此我们需要从一个样本中找出多个任务。比如说遮挡图片的一个特定部分,用没遮挡部分来猜遮挡的部分是一个任务。那么通过遮挡不同的部分,就可以用一个样本完成不同任务。Yann Lecun描述的这个方法被业界称作「自监督学习」

暂无评论
暂无评论~