机器之心编辑部发布

南京大学发布WebCaricature漫画人脸识别数据集

近日,南京大学推理与学习研究组(R&L Group)发布了一个新的漫画人脸识别数据集 WebCaricature。该数据集包含了 252 个名人的 6042 幅漫画图像以及 5974 幅人脸图像,并且每幅图像均提供了 17 个人脸关键点标注。该数据集是目前为止最大的漫画人脸识别数据集,填补了深度学习时代漫画人脸识别研究在基准数据集上的空缺。关于该数据集的文章目前已在 2018 年 BMVC 会议发表。

  • 数据集网址:https://cs.nju.edu.cn/rl/WebCaricature.htm

  • 论文网址:http://bmvc2018.org/contents/papers/0728.pdf

图 1:WebCaricature 中的人脸图像以及漫画图像示例

引言

真人夸张漫画 (Caricature) 通常是由漫画家对真实人脸的五官进行不同程度的夸大后创作出来的,这种夸大通常会更加凸显人脸原来较为显著的特征,但也会导致真实人脸与漫画之间存在较大的差异。尽管如此,人类通常还是可以很容易地识别出漫画中我们认识的人脸,并且,由于显著特征的加强,识别甚至会变得更加简单。但对于目前的机器学习算法却并非如此。

在过去,关于漫画人脸识别的任务受到了心理学以及脑科学研究者的广泛关注,在心理学研究上,对于漫画人脸识别的研究可以帮助我们更好的了解人类对哪些面部特征的夸张更加敏感以及理解人类大脑是如何表示和匹配人脸的。相应地,在计算机视觉领域,关于漫画人脸识别的研究也可以帮助我们找到更好的人脸特征表示以及相似度计算方法,进而提升现有人脸识别系统的性能。

过去几年,随着深度学习的兴起,人脸识别系统的性能得到了快速的提升。然而对于漫画人脸识别任务,目前的机器学习方法的效果仍比较差。主要原因是漫画人脸存在多种多样的艺术风格且脸部存在形变和夸张,对于同一个人的人脸,不同漫画家可能会选取不同的夸大方式,使得匹配和识别变得更加困难。另外一方面,目前漫画人脸识别相关的数据集匮乏,已有的数据集不管是在人员数量上还是图像数量上都较少。

在上述背景下,南京大学推理与学习研究组(R&L Group)建立了一个大的漫画人脸识别数据集 WebCaricature,该数据集包含了 252 个名人的 6042 幅漫画图像以及 5974 幅人脸图像,并且,数据集中的每幅图像均提供了 17 个人脸关键点标注。该数据集的特点是,不同人的漫画图像在漫画风格上迥异,并且同一个人的漫画图像之间也存在着巨大的差异,对于照片,同一人的拍摄角度、面部表情、光照环境、年龄等也都是非受控的,因此,在识别上会有非常大的难度。

该数据集是目前为止最大的漫画数据集,通过发布该数据集,我们希望促进深度学习机器学习方法在漫画人脸识别方面的相关进展。关于该数据集的文章目前已在 2018 年 BMVC 会议上发表。

图 2:数据集中的关键点标注

评价基准

基于该数据集,论文中还建立了四种漫画人脸识别的评价基准,分别是受限视图下的漫画核实 (Restricted View Caricature Verification),非受限视图下的漫画核实 (UnRestricted View Caricature Verification),通过漫画识别人脸 (Caricature to Photo Recognition),通过人脸识别漫画 (Photo to Caricature Recognition)。其中前两种评价基准可用于评价漫画与真人照片一对一核实的任务,第三种评价基准用于评价给定一幅漫画后,从人脸库中识别对应照片的算法性能,最后一种评价基准用于评价给定一幅照片后,从库中识别对应漫画的算法性能。

数据集上的挑战

此外,论文中还对应传统人脸识别任务的各个阶段分析了漫画人脸识别的难点,并给出了一些基准算法在该数据集上目前的识别效果。

其中,对应传统人脸识别系统中的人脸检测与人脸关键点检测任务,由于漫画的风格变化以及脸部形变,漫画的人脸模式变化更多更丰富,漫画人脸关键点的位置更加不固定,因此,漫画人脸检测以及漫画人脸关键点检测也是一个可研究的具有挑战性的研究问题。

在检测的漫画人脸的基础上,漫画人脸与真人照片之间的对齐方法也需要一些特殊的设计,图 3 中给出了原文中采用基于眼睛的人脸对齐方法后,漫画与照片不能很好对齐的示例图片。

图 3:通过同一种基于眼睛的人脸对齐方法,漫画人脸的对齐效果很差,照片人脸的对齐效果相对较好

在漫画人脸特征抽取的问题上,该问题相较于传统的异构人脸识别(包括照片与素描人像相互识别、照片与红外人像相互识别等)[1] 中的人脸特征抽取问题会更难。传统的异构人脸识别中的人脸特征抽取主要考虑消除不同模态(如照片和素描属于两种图像模态)的人脸图像之间的模态差异使得特征对于个体具有判别性。在漫画中,由于不同的漫画风格,不同的漫画可能属于不同的模态,使得模态差异的消除更加困难,此外,漫画具有不同的形变,因此,如何抽取特征使得真实人脸特征与漫画人脸特征同构可比较是一个非常具有挑战性的研究问题。

在漫画与真人照片的特征匹配问题上,假设在前面的几个步骤中算法无法完全对漫画人脸与真实人脸进行对齐,且在特征抽取中不能很好的消除模态差异,则在匹配漫画与真人照片的特征的时候既需要考虑消除模态差异,也需要考虑由于形变造成的特征误配准 [2],对传统的特征匹配算法也提出了新的挑战。

基准性能

目前在该数据集上,文章中给出了不同对齐算法、特征抽取算法以及特征匹配算法组合在不同评价基准下的算法性能,结果见表 1 和表 2。在四种评价基准下,最好的效果由 VGG-Face 方法与 KCSR 方法结合取得,但可以看到目前该数据集上,在各项性能指标下,算法的性能还没有达到饱和。

由于 VGG-Face 方法目前未考虑模态差异消除以及漫画中的形变,KCSR 方法可以进行模态差异的消除,两者结合可以较好的提升性能。因此在深度学习方法中引入模态差异消除,同时考虑漫画中的形变影响,设计端到端的算法应该是后续可行的漫画识别研究方向。

表 1 WebCaricature 数据集上,受限视图以及非受限视图漫画核实评价基准下不同算法的识别性能

表 2 WebCaricature 数据集上,通过漫画识别人脸以及通过人脸识别漫画两种评价基准下不同算法的识别性能

数据集下载信息可从以下链接获取:https://cs.nju.edu.cn/rl/WebCaricature.htm

[1]    B. F. Klare and A. K. Jain,「Heterogeneous face recognition using kernel prototype similarities,」IEEE Trans. Pattern Anal. Mach. Intell., vol. 35, no. 6, pp. 1410–1422, 2013.

[2]    J. Huo, Y. Gao, Y. Shi, and H. Yin,「Variation Robust Cross-Modal Metric Learning for Caricature Recognition,」in Proceedings of the on Thematic Workshops of ACM Multimedia 2017, 2017, pp. 340–348.

理论数据集人脸识别南京大学
3
相关数据
英特尔机构

英特尔(NASDAQ: INTC)是全球半导体行业的引领者,以计算和通信技术奠定全球创新基石,塑造以数据为中心的未来。我们通过精尖制造的专长,帮助保护、驱动和连接数十亿设备以及智能互联世界的基础设施 —— 从云、网络到边缘设备以及它们之间的一切,并帮助解决世界上最艰巨的问题和挑战。

https://www.intel.cn/content/www/cn/zh/homepage.html
相关技术
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

人脸识别技术

广义的人脸识别实际包括构建人脸识别系统的一系列相关技术,包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。 人脸识别是一项热门的计算机技术研究领域,它属于生物特征识别技术,是对生物体(一般特指人)本身的生物特征来区分生物体个体。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

特征抽取技术

推荐文章
暂无评论
暂无评论~