人脸识别

Techniques for face acquisition

传统的人脸识别算法：

人脸识别算法通过从被摄体面部的图像中提取标志或特征来识别面部特征。例如，算法可以分析眼睛、鼻子、颧骨和下颌的相对位置、大小和/或形状。然后使用这些特征搜索具有匹配其他图像。

一些其他的算法对脸部图像库进行归一化，然后压缩脸部数据，仅将用于脸部识别的数据保存在图像中。然后将探头图像与面部数据进行比较。最早成功的系统之一是基于应用于一组显著面部特征的模板匹配技术，提供某种压缩的人脸表示。

识别算法可分为两种主要方法，1.几何方法（geometric），其着眼于区别特征，2.光度法（ photometric），这是一种统计方法，将图像提取为值，并与模板比较以消除方差。

常用的识别算法包括基于特征脸的主成分分析（ principal component analysis）、线性判别分析（linear discriminant analysis）、基于Fisherface算法的弹性束图匹配、隐马尔可夫模型、基于张量表示的多线性子空间学习以及neuronal motivated dynamic link matching。

三维识别

三维人脸识别技术使用3D传感器来捕获关于面部形状的信息。然后，数据被用于识别面部表面上的独特特征，例如眼窝、鼻子和下巴的轮廓。

3D人脸识别的一个优点是它不受照明变化的影响。像其他技术一样，它还可以从一系列视角来识别人脸，包括轮廓视图。人脸的三维数据点极大地提高了人脸识别的精度。3D研究通过开发复杂的传感器来改进，从而更好地捕捉3D人脸图像。传感器在光投射到面部会起作用。这些图像传感器中的多达十二个或更多可以放置在同一个CMOS芯片上——每个传感器捕获光谱的不同部分……

即使是完美的3D匹配技术也会对表情敏感。为了降低敏感，所以在技术上，从度量几何中把表情当作等距表情来处理。

现在，一种新的方法是介绍一种通过使用三个指向不同角度的跟踪相机来捕获3D图像的方法，一个相机将指向被摄体的前面，第二个相机指向侧面，第三个相机指向一个角度。所有相机同时工作，它可以实时跟踪一个对象的面部，并且能够面对检测和识别。

皮肤纹理分析 Skin texture analysis

另一种新兴的趋势是使用皮肤的视觉细节，如在标准的数字或扫描图像中捕捉到的。这种技术叫做皮肤纹理分析，它把人皮肤上显而易见的独特线条、图案和斑点转化成数学空间。[10]

表面纹理分析与面部识别有着同样的作用。图片是一张皮肤，被称为skinprint。然后这个补丁被分解成更小的块。使用算法将贴片转换为数学、可测量的空间，系统然后将区分任何线条、毛孔和实际皮肤纹理。它可以识别同卵双胞胎之间的差异，然而这个技术还没有单独的面部识别软件。

试验表明，随着皮肤纹理分析的增加，人脸识别的性能可以提高20到25%。

面部识别结合不同的技术 Facial recognition combining different techniques

由于每种方法都有其优点和缺点，很多公司已经融合了传统的3D识别和皮肤纹理分析技术，以创建具有较高成功率的识别系统。

组合技术比其他系统具有优势。它对表情变化相对不敏感，包括眨眼、皱眉或微笑，并且能够补偿毛发（胡须）或胡须的生长和眼镜的外观。

热摄像机 Thermal cameras

获取人脸识别输入数据的不同形式还有Thermal cameras。这种相机只检测头部的形状，而忽略诸如眼镜、帽子或化妆品之类的数据。

与传统相机不同，热敏相机即使在微光和夜间条件下也能够捕捉面部图像，而无需使用闪光灯和曝光相机的位置。然而，使用热敏相机存在问题，用于人脸识别的热图像的数据库是有限的。Diego Socolinsky和Andrea Selinger(2004)研究了人脸识别在现实生活中的应用，以及操作场景，同时建立了一个新的以热相机的人脸图像数据库。该研究采用低灵敏度、低分辨率的铁电传感器（ferro-electric electrics sensors），能够获取长波热红外（LWIR）。结果表明，LWIR和常规视觉相机的融合在室外探头中具有更好的效果。室内试验结果表明，视觉准确率为97.05%，LWIR为93.93%，融合率为98.40%，而室外试验表明视觉准确率为67.06%，LWIR为83.03%，融合率为89.02%。该研究使用240名受试者在10周的时间来创建新的数据库。这些数据是在晴天、雨天和阴天各种情景下收集的。

2018年，美国陆军研究实验室（ARL）的研究人员开发了一种技术，使得他们能够将用热像机获得的面部图像，与用常规方法捕获的数据库中的面部图像进行匹配。这种方法利用人工智能和机器学习使研究人员能够比较传统和热脸部图像。将脸部识别与两种不同的成像模式联系起来而被称为互谱合成方法，该方法通过分析多个脸部区域和细节来合成单个图像。它由一个非线性回归模型和一个优化问题组成，该模型将特定的热图像映射到相应的可见面部图像，该优化问题将潜在投影回图像空间。

ARL的科学家们已经注意到，该方法通过将全局信息（即整个面部的特征）与局部信息（即关于眼睛、鼻子和嘴的特征）结合来工作。除了增强合成图像的可辨别性之外，面部识别系统可以用于将热面部标签转换成面部的精确可见图像。根据ARL进行的性能测试中，研究人员发现，多区域互谱合成模型比基本方法提高了约30%，比现有方法提高了约5%。

【出处：wiki，https://en.wikipedia.org/wiki/Facial_recognition_system  】

2. 发展历史

描述

自动人脸识别的先驱包括Woody Bledsoe，Helen Chan Wolf和Charles Bisson。

在1964年和1965年期间，Bledsoe与Helen Chan和Charles Bisson一起致力于使用计算机识别人脸（Bledsoe 1966a，1966b; Bledsoe和Chan 1965）。Bledsoe当时为这项工作感到自豪，但由于资金是由一个不具备大量宣传力的无名情报机构提供的，因此很少有工作被发表。当时的工作是：给定一个大型图像数据库（实际上是一本大头照）和一张照片，解决的问题是从数据库中选择一小组记录，使其中一个图像记录与照片相匹配。该方法的成功可以根据答案列表与数据库中记录数量的比率来衡量。 Bledsoe（1966a）当时总结了当时的一些研究困难：

该项目是人机标记的，研究人员从照片中提取了一组特征的坐标，然后计算机来识别。使用图形输入板（GRAFACON或RAND TABLET），操作者将提取瞳孔中心、眼睛内角、眼睛外角、峰点pupil to pupil等特征的坐标。根据这些坐标，计算了20个距离的列表，如嘴宽和眼睛宽度，瞳孔到瞳孔。操作员每小时可以处理大约40张照片。在建立数据库时，照片中的人的名字与计算距离的列表相关联，并存储在计算机中。在识别阶段，将距离集合与每张照片的相应距离进行比较，得出照片和数据库记录之间的距离。返回最接近的记录。

因为不可能任何两张图片在头部旋转、倾斜、倾斜和比例（距相机的距离）上匹配，所以每组距离被标准化以表示正面方向的面部。为了完成这个归一化，程序首先尝试确定倾斜、倾斜和旋转。然后，使用这些角度，计算机撤销这些变换对计算距离的影响。为了计算这些角度，计算机必须知道头部的三维几何结构。

布列Bledsoe于1966离开PRI后，这项工作继续在斯坦福研究所Stanford Research Institute，主要由Peter Hart负责。在超过2000张照片的数据库上进行的实验中，研究的相同识别任务的同时，计算机的表现总是优于人类（Bledsoe 1968）。Peter Hart（1996）热情地回忆了这个项目，感叹道：“这真的很管用！”

到1997年左右，由德国波鸿大学（University of Bochum）和美国南加州大学（University of Southern California）的克里斯托夫·冯·德·马尔斯堡（Christoph von der Malsburg）和研究生开发的系统比Massachusetts Institute of Technology 和University of Maryland的大多数系统表现的要好。Bochum system 是由美国陆军研究实验室资助的。该软件以ZN-Face形式销售，并被德意志银行( Deutsche Bank )、机场运营商等场所使用。该软件“强大到足以从不完美的面部表情进行识别。它也经常能看穿诸如胡须、改变发型和眼镜——甚至太阳镜——等妨碍识别的障碍。

2006，在人脸识别大挑战（FRGC）中对最新的人脸识别算法的性能进行了评价。在测试中使用了高分辨率人脸图像、三维人脸扫描和虹膜图像。结果表明，新算法比2002年的人脸识别算法准确10倍，比1995年的人脸识别算法准确100倍。其中一些算法在识别人脸方面能够胜过人类，并且可以唯一地识别出同卵双胞胎。

美国政府赞助的评估和挑战问题帮助提高了人脸识别系统性能的两个数量级。自1993以来，自动人脸识别系统的错误率下降了272倍。该减少适用于在studio或MuGeScript环境中与人脸图像匹配的系统。摩尔定律（Moore's law）中，误差率每两年减少一半。

【出处：wiki，https://en.wikipedia.org/wiki/Facial_recognition_system  】

主要事件

3. 发展分析

瓶颈

2008年卡内基梅隆机器人研究所的研究员拉尔夫·格罗斯描述了一个与面部角度的问题：“脸部识别在全脸和20度以下已经做的相当好，但是一旦你接近侧面，就会出现问题。”由于姿态变化，低分辨率人脸图像也很难识别。这是人脸识别在监控系统中的主要障碍之一。

面部表情变化不大。如果面部表情变化。微笑可以使系统变得不那么有效。例如，2009，加拿大在护照照片中只允许没有面部表情的图片。

研究人员使用的数据集也存在不稳定性。研究者可以使用从多个主题到多个主题的地方，以及几百个图像到数千个图像。对于研究者来说，重要的是至少有一个标准数据集。

数据隐私是主要的关注点，当涉及到存储生物特征数据的公司。如果没有正确存储或黑客攻击，或者可以通过第三方访问关于面部或生物特征的数据存储，那么这是很危险的事情。Parris补充道，在Techworld（2017），“黑客们已经开始尝试复制人脸来欺骗面部识别系统，但事实证明，这项技术比指纹或语音识别技术更难被黑客破解。”

【URL https://en.wikipedia.org/wiki/Facial_recognition_system#Advantages_and_disadvantages 】

未来发展方向

1.因为多种面部识别方法已经被提出，混合方法 hybrid method可以被进一步发展。

2.可以通过面部识别来识别心情；也可以减缓表情的变化对面部识别准确率的影响 （Anti facial recognition systems）。

Contributor: Ruiying Cai