杜敏 作者华中科技大学硕士学校模式识别与智能系统研究方向

PFLD:简单高效的实用人脸关键点检测算法

研究背景

人脸关键点检测,在很多人脸相关的任务中,属于基础模块,很关键。比如人脸识别、人脸验证、人脸编辑等等。想做人脸相关的更深层次的应用,人脸关键点是绕不过去的点。正是因为它是一个基础模块,所以对速度很敏感,不能太耗时,否则影响了系统整体的效率。所以对人脸关键点检测的要求是,又准又快。

研究问题

人脸关键点目前存在的问题(不能又准又快)的原因如下:

1. 局部变化:表情、局部特殊光照、部分遮挡,导致一部分关键点偏离了正常的位置,或者不可见了; 

2. 全局变化:人脸姿态、成像质量;

3. 数据不均衡在人脸数据里面,数据不均衡体现在,大部分是正脸数据,侧脸很少,所以对侧脸、大角度的人脸不太准;

4. 模型效率:在 CNN 的解决方案中,模型效率主要由 backbone 网络决定。 

在实际使用中,人脸关键点的问题主要有两个:1)对“点是否遮挡”判断是否准确;2)对大角度人脸(+-60 度以内)点位置预测的准确性和稳定性。

解决思路

1. 修改 loss,增加关键点的空间约束项(三个姿态角)和数据均衡项;

2. backbone 采用 MobileNet(常规操作); 

3. 用 auxiliary network,让点位置预测更稳定和鲁棒(常规操作)。

复现指南

模型

损失函数

损失函数的意义在于表示差异,而且能表示真正的距离。特别是当对象本身具备 3D 属性,而仅在 2D 上表示的时候,这样的距离表示就是不准确的。本文作者认为,对于人脸这种对象,人脸 pose(更简单的说是 3 个欧拉角)可以弥补一些人脸 3D 到 2D 的信息损失。具体怎么弥补? 

希望是网络可以学到 3D 姿态的信息,最容易想到的方法是让网络去预测三个角度,这么做是可以的。进一步还能怎么做?把预测的角度损失和点位置损失组合起来,具体的组合方式,比如相加,或者相乘。相加的方式比较类似多任务损失,相乘的方式可以理解为一种加权,因为角度损失一般会归一化到 0-1 之间。 

在实际中又发现,这个角度分布,存在样本不均衡的问题,所以又增加了样本均衡项。

绿色框是预测的角度和 gt 的差值,通过 cos 变成 0-1 之间,通过 (1-x) 操作变成单调增。 

红色框是样本均衡项,作者把人脸分成六类(侧脸,正脸,抬头,低头,有表情,有遮挡),统计了训练集中这六类的数量分布,计算对应的数量比例,比如 1/10,用它的倒数,作为均衡项(用倒数是否合理?是否有点糙?可以考虑 focal loss 和 class-balance loss 的处理方法)。

网络

上面是 auxiliary 网络,预测三个角度,infernce 不参与,和下面的网络,共用一些层。角度预测的 gt,是用一个平均正脸上预先定义的 11 点,和 gt 中的 11 点估计出的旋转角度,作为角度的 gt。

下面是 backbone + head:

红框是 head,用了多尺度预测,类似 SSD 的做法。

实验

SOTA 比较:和去年的 LAB 方法(Look at Boundary)相比,NME 提升 0.1 个点。 

速度:ARM845 上,一张人脸只要 7ms。backbone 优化,另外一个原因是直接回归位置坐标,而不是常规的 heatmap + offsetr 的方式,无后处理耗时。

Ablation:

对于直接回归位置坐标,本文提出的改进 loss 提升略明显(存疑)。

个人评价

应用决定算法对什么更敏感。人脸关键点终究是一个耗时敏感的问题,为了效率,本文的考虑有如下:

  • backbone 采用 MobileNet 

  • 直接回归点坐标,省去后处理耗时 

  • 用 auxiliary 网络,这个网络再怎么搞,都不会影响 inference 耗时 

  • 对 loss 的优化,再怎么玩,都不会影响 inference 耗时 

什么会影响耗时:

  • 输入大小 

  • inference 涉及的 backbone 和 head 

  • target_to_label 的耗时 

所以,像什么对抗损失、模仿学习、加数据训等等方法,都是可以在不改变算力的情况提升模型性能的手段,在工业界常常使用。 

三点想法:

  • 如果模型的角度预测分支,放在和位置预测一起出,效果会怎么样?

  • 如果人脸的角度不是预测的,是标注的,效果会怎么样?

  • 考虑效率的话,输入大小和模型算力配比,是最佳的均衡么?

如果有大神复现了本方法,求分享交流,想知道上面三个问题的答案。

PaperWeekly
PaperWeekly

推荐、解读、讨论和报道人工智能前沿论文成果的学术平台。

理论人脸识别计算机视觉人脸关键点检测
相关数据
人脸识别技术

广义的人脸识别实际包括构建人脸识别系统的一系列相关技术,包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。 人脸识别是一项热门的计算机技术研究领域,它属于生物特征识别技术,是对生物体(一般特指人)本身的生物特征来区分生物体个体。

SSD技术

一种计算机视觉模型。论文发表于 2015 年(Wei Liu et al.)

损失函数技术

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学等领域,损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

点估计技术

点估计也称定值估计,它是以抽样得到的样本指标作为总体指标的估计量,并以样本指标的实际值直接作为总体未知参数的估计值的一种推断方法

模仿学习技术

模仿学习(Imitation Learning)背后的原理是是通过隐含地给学习器关于这个世界的先验信息,就能执行、学习人类行为。在模仿学习任务中,智能体(agent)为了学习到策略从而尽可能像人类专家那样执行一种行为,它会寻找一种最佳的方式来使用由该专家示范的训练集(输入-输出对)。

推荐文章
暂无评论
暂无评论~