Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

一览端到端人脸识别最新进展,上大&京东AI研究院综述被ACM旗舰期刊接收

人脸识别计算机视觉(CV)领域中最热门和悠久的研究课题之一。本篇综述全面地回顾了端到端深度学习人脸识别系统的三个组成要素,包括人脸检测人脸对齐和人脸表征。从最新的算法设计,评估指标,数据集,方法性能比较,现有的挑战和未来发展方向等方面展开介绍,同时讨论了不同要素对后续环节和整体识别系统的影响。通过该综述,作者期望读者能够认识到各个要素中值得进一步探索的方法,以及如何从头开始选择合适的方法来建立一套先进的端到端人脸识别系统。该综述已被 ACM 旗舰期刊 Computing Surveys(IF 10.282)接收。

端到端深度人脸识别系统由三个关键要素构成:人脸检测(face detection)、人脸对齐(face alignment)和人脸表征(face representation)。其中,人脸检测的作用是定位静止图像或视频帧中的人脸位置。然后,人脸对齐将人脸校准到一个规范的视角,并将人脸图像裁剪到一个标准化像素大小。最后,在人脸表征阶段,从对齐后的图像中提取具有鉴别性的特征用于识别。

在实际应用中,端到端人脸识别系统的性能表现同时取决于上述三种组成要素,任何一个环节出现短板,都会对端到端系统的识别性能造成不良影响,成为人脸识别系统的瓶颈。为了建立一套先进的端到端人脸识别系统,因此有必要理解每个要素对系统整体的影响,以及各个要素之间的内在联系。

图片

论文地址:https://arxiv.org/pdf/2009.13290.pdf

因此,来自上海大学、京东 AI 研究院和瑞尔森大学的研究者联合撰写的这篇综述具有以下几项主要贡献:

  • 系统地调研并回顾了端到端深度人脸识别三个组成要素的最近进展;

  • 从多个方面介绍了这三个组成要素: 算法设计、评估指标、数据集和性能比较。并且指出了各个要素对其后续环节和整体系统的影响;

  • 分析了每个要素及其子类别现有的挑战和发展方向,并从整体系统的角度进一步讨论了主要的挑战和未来趋势。  


下图 1 为端到端人脸识别系统的流程展示:

图片


下图 2 介绍了各章节的主要内容,图中左侧部分主要是功能性的介绍,包括参考提供全面介绍和讨论的功能内容。右侧部分为技术性的内容,对三个要素分别进行了详细的分析。  

图片

人脸检测

给定一幅输入图像,人脸检测的目标是找到图像中所有的人脸,并给出所有人脸的包围框的坐标和置信度得分。为了让读者更好的认识和理解人脸检测的发展,研究者从多个角度对人脸检测方法进行了分类,包括多阶段、单阶段、anchor-based、anchor-free、多任务学习、CPU 实时、面向问题等方法,具体分类可以参考下表 1。

图片

表 1:深度人脸检测方法的类别

下图 3 给出了具有代表性的人脸检测方法的发展历程。

图片

图 3:脸检测方法的发展历程

此外,研究者讨论了人脸检测方法对后续人脸对齐和表征环节的影响。不精确的检测框会导致人脸关键点定位性能下降,使用更鲁棒的人脸检测器能够进一步提升识别性能。相关实验结果如下图 4 所示。

图片

图 4:人脸检测对后续要素的影响

人脸对齐

人脸对齐的目标是将检测到的人脸校准到一个规范的标准化视图,并裁剪为固定图像尺寸的图像,这是提高人脸识别性能的必要步骤。人脸对齐方法包括基于关键点对齐和不使用关键点的两种技术方案。其中,基于关键点的对齐方法是目前最常用的方案,根据如何获取关键点可分为坐标点回归、热力图回归以及 3D 模型拟合三种方法。不使用关键点的人脸对齐方法通过可学习的方式直接生成对齐后的人脸图像,具体分类可以参考下表 2。

图片

表 2:人脸对齐方法的类别

下图 5 给出了人脸对齐方法的发展历程。

图片

图 5:人脸对齐方法的发展历程

同时,研究者进一步讨论了五种不同的对齐方法对人脸识别性能的影响。下图 6 中的实验结果表明恰当的对齐策略能够有利于提升人脸识别性能。

图片

图 6:合适的对齐策略有利于提升人脸识别性能

人脸表征

人脸表征利用深度卷积神经网络模型从预处理后的人脸图像中提取具有身份判别力的特征,这些特征用于计算匹配人脸之间的相似度。我们从网络模型架构,训练监督,以及具体的识别任务三个方面对人脸表征分别进行介绍,方法的具体分类可参考下表 3。

图片

表 3:人脸表征学习方法的类别

下图 7 是人脸表征训练监督方法的发展历程,包含了分类学习、特征嵌入、混合方法以及半监督学习四种方案。

图片

图 7:人脸表征训练监督方法

下图 8 是三种有监督人脸表示学习方法与公开数据集规模的发布趋势,其中分类学习是目前主流研究和采用的方法。可以发现随着训练和测试的数据集规模不断增加,对大规模数据集进行闭集分类训练,可以近似模拟人脸识别的开集场景。这可能是近年来基于分类的训练方法得到广泛研究并占据主导地位的原因。 

图片

图 8:三种监督人脸表示学习方法与公开数据集规模的发布趋势

讨论和总结

最后,研究者分析了端到端人脸识别系统各个组成要素现有的问题和未来趋势,同时还有三种要素共有的挑战,以及面向整个识别系统的角度讨论了现有挑战和发展方向,如下表 4 所示。

图片

表 4:端到端深度人脸识别系统的主要挑战
理论京东AI研究院人脸识别
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

半监督学习技术

半监督学习属于无监督学习(没有任何标记的训练数据)和监督学习(完全标记的训练数据)之间。许多机器学习研究人员发现,将未标记数据与少量标记数据结合使用可以显着提高学习准确性。对于学习问题的标记数据的获取通常需要熟练的人类代理(例如转录音频片段)或物理实验(例如,确定蛋白质的3D结构或确定在特定位置处是否存在油)。因此与标签处理相关的成本可能使得完全标注的训练集不可行,而获取未标记的数据相对便宜。在这种情况下,半监督学习可能具有很大的实用价值。半监督学习对机器学习也是理论上的兴趣,也是人类学习的典范。

人脸识别技术

广义的人脸识别实际包括构建人脸识别系统的一系列相关技术,包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。 人脸识别是一项热门的计算机技术研究领域,它属于生物特征识别技术,是对生物体(一般特指人)本身的生物特征来区分生物体个体。

表征学习技术

在机器学习领域,表征学习(或特征学习)是一种将原始数据转换成为能够被机器学习有效开发的一种技术的集合。在特征学习算法出现之前,机器学习研究人员需要利用手动特征工程(manual feature learning)等技术从原始数据的领域知识(domain knowledge)建立特征,然后再部署相关的机器学习算法。虽然手动特征工程对于应用机器学习很有效,但它同时也是很困难、很昂贵、很耗时、并依赖于强大专业知识。特征学习弥补了这一点,它使得机器不仅能学习到数据的特征,并能利用这些特征来完成一个具体的任务。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

卷积神经网络技术

卷积神经网路(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据,它可以被认为是以一定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

多任务学习技术

京东机构

京东(股票代码:JD),中国自营式电商企业,创始人刘强东担任京东集团董事局主席兼首席执行官。旗下设有京东零售、京东物流、京东科技子集团、印尼&泰国海外合资跨境电商等核心业务。2013年正式获得虚拟运营商牌照。2014年5月在美国纳斯达克证券交易所正式挂牌上市。 2016年6月与沃尔玛达成深度战略合作。

https://www.jd.com
相关技术
人脸检测技术

人脸检测(face detection)是一种在任意数字图像中找到人脸的位置和大小的计算机技术。它可以检测出面部特征,并忽略诸如建筑物、树木和身体等其他任何东西。有时候,人脸检测也负责找到面部的细微特征,如眼睛、鼻子、嘴巴等的精细位置。

人脸对齐技术

人脸对齐可以看作在一张人脸图像搜索人脸预先定义的点(也叫人脸形状),通常从一个粗估计的形状开始,然后通过迭代来细化形状的估计。

暂无评论
暂无评论~