1 月 13 日，在浙江卫视播出的大型科技综艺节目《智造将来》中，代表支付宝最新研发进展的生物识别系统「310099」首次亮相，并成功完成挑战：从 500 位蒙面观众中找到目标人物。
在这之后，蚂蚁金服生物识别技术负责人李亮也向我们全面解读了这背后的技术能力：支付宝采用了哪些识人技术，除了常见的指纹识别、2D/3D 人脸识别，他们还在研究新型眼纹识别方法，这种方法结合人脸识别能获得极高的准确率。目前眼纹（巩膜静脉）识别只有少量研究工作，李亮博士向我们详细介绍了虹膜识别的主要流程。
生物识别
除了常见的指纹识别、人脸识别，生物识别还包含眼纹识别、虹膜识别、声纹识别和视网膜识别等技术。人体的很多生物信息都可以用来识别「身份」，基于不同的算法和传感器，业界正在开发的生物识别技术约有三百种。
目前比较成熟的是人脸、指纹和虹膜识别技术，蚂蚁金服生物识别团队正在研发眼纹识别，即识别眼睛的巩膜（眼白）的血管排布情况。眼纹和虹膜一样，都具有很高的唯一性，即便是同卵双胞胎，眼纹也是不同的。如果我们将眼纹识别技术叠加人脸识别方法，那么准确率有望再提升几个数量级，而且用户还不需要增加额外的操作或配合。
以下介绍了几种生物识别技术的优缺点：
人脸识别：优势是用户体验好，不需要用户刻意配合；不足是人脸识别可能会受姿态、光照、遮挡、图片清晰度等因素影响。此外，对于两张长相极端相似的脸，人脸识别技术有可能识别不出。
指纹识别：指纹应用最广泛，技术也相对成熟，但应用上有局限性，一是少数人指纹比较差（磨损、受伤等）；二是指纹会被复制，存在安全风险；三是在手出汗等特殊情况下，会影响到识别；四是采集指纹需要对象的配合，便捷性差一些
虹膜识别：准确度高，唯一性强。不足在于需要用户主动配合，并且对硬件的要求比较高，需要有虹膜摄像头。
眼纹识别：准确度与唯一性和虹膜识别相当，但对硬件没有特别要求，普通摄像头即可。不足在于眼纹识别需要用户主动配合，用户与采集设备之间的距离、光源等（在一些光线下，眼球会反光，从而影响识别）要求都比较高，从而影响用户体验。
支付宝从 2014 年开始研究人脸识别技术，李亮介绍了在这几年研究及落地过程中的几个重要节点。
2014 年随着移动互联网时代的全面到来，我们越来越发现传统以密码验证为代表的身份验证方式和起源于 PC 时代的传统风控体系已经不适用于移动互联网时代的用户随时随地使用的多样化需求，带来的后果是，许多场景下用户的行为和交易容易受到打扰或者被风控系统误拦截，给用户带来了非常不好的体验。而这一问题背后的本质原因是很多时候我们不了解每一个交易和行为背后的用户是谁。
因此，支付宝应用人脸识别技术的出发点就是希望首先在身份验证环节采用更安全更便捷的生物特征认证方式，能够更准确识别每一个用户，使得用户在后续的场景和交易中畅通无阻，也能更进一步享受到更智能更个性化的服务。
从 2015 年开始，支付宝将人脸识别技术相继应用于风控场景和登录场景，再到 2017 年 9 月将刷脸支付技术全球首次商用并逐步规模化，在大量应用场景中铺开「刷脸支付」。2018 年 12 月，蚂蚁金服推出「蜻蜓」，一款线下即插即用刷脸支付硬件设备，用户不用手机也可以刷脸支付。
这其中尤其引起我们关注的是「安全和隐私保护」、「以人为核心」、「用户体验」、「线下硬件」。
从实验室到商用
从实验室走向商用靠的绝不仅仅是技术和算法。
在生物识别技术落地的过程中，最大的技术突破是人脸识别，即在图像特征抽取和人脸比对环节中取得了很大进展。但是，实际场景中的影响因素是很多的。从全链路的角度来看，活体检测、人脸交互、关键点定位、人脸跟踪等在真实的场景下，特别是不同的手机、环境、用户背景等条件下，想做到非常好并且稳定的用户体验是很难的。蚂蚁金服生物识别团队对此进行了很多特殊的优化，如使算法在不同的手机上达到比较一致的运算速度、响应时间，通过文案设计提高用户对刷脸的感知和理解，适应用户背景（如光线、角度等），分析基于其他传感器数据的反馈等。
技术落地的过程中会遇到各种问题，支付宝生物识别技术负责人李亮介绍了一件有趣的事。晚上和周末，刷脸的客户端通过率会明显降低，用户调研后发现，第一版的活体检测是请用户对着摄像头点点头，但很多人那时已经躺在床上，没法点头，而实验室或者工程师自己测试时是不会想到躺着做测试的……
算法在某些情况下存在局限，因此就需要从产品交互、从工程优化等其他角度来解决此类问题。也就是说，算法的高准确率需要满足一定前提条件。而技术的真正落地则意味着要解决这类碎片化、个性化的细节问题，使产品能够真正得到普及。目前几乎所有 AI 算法都面临这个问题，即在垂直领域上能够很好地解决问题，但通用的泛化能力不足。这也是为什么现在大家都不再讨论算法指标，而是更关心实际场景落地的表现。
生物识别的一个重要问题是活体检测，即判断采集到的人脸是否来自于真人。蚂蚁金服生物识别技术活体检测采用了多因子身份认证技术，为核验身份提供更多的依据，不仅能提升识别的准确率，还能进一步提升安全性。
出于对用户体验的坚持和几乎无门槛使用的考虑，蚂蚁金服在活体检测技术的研发过程中一直坚持静默活体检测，即用户无需进行过多的动作或交互（如转头、张嘴等）。李亮介绍道，蚂蚁金服生物识别技术在静默活体检测中最多可能让用户眨一下眼，主要是通过多个维度，包括多模态的眼纹和运动分析、其他传感器数据，以及风控体系中和用户相关的行为等来综合判断是否来自活体。
实践中的安全保障
从模型走向安全的产品靠的是融合更多保障技术和算法。
生物特征具备「唯一性」和「终身不变性」等优点，但生物特征同时也存在「不可撤销性」的特性，人脸图像的隐私保护和模板安全是个重要研究课题，一方面我们研发了基于单向变换的图像脱敏技术，对上传的人脸图像进行脱敏和加密处理，使得处理后的数据无法复原到原始图像，同时还能保持数据的可区分性和可学习性。另一方面，生物秘钥生成技术和加密空间共享学习技术也是目前的研究重点，在满足生物特征识别能力的同时，满足生物特征模板单向变换和可撤销等要求，实现对用户的隐私保护和分布式数据的安全使用。
同样指纹和眼纹等识别算法也非常关注安全性，例如眼纹识别中有个很关键的技术就是眼纹模板的隐私保护。它在注册新眼纹并生成模板的过程中会同时产生很多杂乱点，并通过密码学的方法将眼纹关键点隐藏在这些杂乱点中，使得最后生成的模板无法单独恢复出原始的眼纹特征点，从而实现生物特征模板保护的目的。
前沿的多模态识别
既然有这么多的生物识别技术，而且还能实现大规模应用，那么我们怎样才能利用它们整体上的优势呢？答案就是联合多种生物特征的多模态识别。因为即使两项只有 80% 准确率的识别方法，它们联合起来也能达到 96% 的准确率。这也就是为什么支付宝结合 2D 人脸、传感器数据、运动分析、3D 人脸成像和眼纹等特征，从而打造更安全的多模态识别技术。在这一部分中，我们主要讨论了 3D 人脸和眼纹等前沿方法如何加强多模态识别的准确度。
3D 人脸识别由于获取了第三维的深度信息而能有效防御照片和面具等攻击手段，蚂蚁金服生物识别技术也包含了高效的 3D 人脸识别算法。因为 3D 相对 2D 的人脸识别多了深度信息，所以众多的 2D 人脸识别训练集并不能直接使用。李亮表示蚂蚁金服最开始研发 3D 人脸识别技术也是基于公开数据集，但目前有很多方法可以生成或预测平面图像的 3D 信息，例如利用多张平面人脸重建三维人脸点云或者直接使用 3D 渲染软件重构图像。
此外，3D 点云这种数据结构是无法直接使用卷积等深度学习方法的，因此蚂蚁金服主要根据点云的立体特征进行处理。在面对这种数据结构时，我们可能很自然地想到将深度信息作为 RGB 后的第四个通道 D，并将第一层卷积核的深度调整为 4 而直接运用深度卷积神经网络。但李亮说：「这在理论上是可行的，但是对数据质量有更高的要求，我们目前也在做大量的尝试，只不过还没有获得比较好的效果。」本质上 3D 人脸是多因子人脸识别中的一个因子，它与眼纹识别等方法一样有助于提供更安全的识别方案。
尽管 3D 人脸识别能对传统 2D 人脸识别有很大的增强，但它也有一些局限性，比如对深度图的数据精度和完整性有比较高的要求，而目前 3D 成像所依赖的结构光技术主要使用近红外散斑激光获得深度信息，近红外的某些波段在户外强光下是有可能失效的，李亮表示这确实是目前 3D 成像面临的一个技术难题。
尽管 3D 信息能有效提升识别准确率，但多模态生物识别技术希望加入更多新的模态生物因子，从而在不增加额外使用负担下增强刷脸的安全性。因此如果我们在人脸识别的过程中加上眼纹等信息，那么在不改变用户体验的情况下能实现更高的安全性和更强的防攻击效果。目前眼纹识别方面的研究与工作都比较少，因为相比人脸识别，眼纹识别需要质量和分辨率更高的图片，处理的方法也更复杂。不过蚂蚁金服在这方面已经做了很多研究，借助眼纹信息，长相极度相似的同卵多胞胎也可被正确识别出来。
眼纹一般指的是眼白（巩膜）部分，而眼纹识别主要是区分眼白的血管分布情况，借此确定人的身份。因此眼纹识别对摄像头也有一定要求，只有高质量图像才能获取静脉的细微特征，并完成后续的识别过程。
与人脸识别相同，眼纹识别技术主要可以分为采集和比对两部分。其中采集主要是从「活体」人脸图像中对眼部区域着重分析，包括眼睛的眼白部分和眼周部分，并作一定的图像预处理和增强；而比对则主要是在眼纹特征点下对比两个眼纹之间的特征相似度。
支付宝生物识别技术负责人李亮表示，所有生物识别技术的使用都分为注册流程和认证流程。注册流程首先会采集多张眼纹并在此基础上做后续的数据增强和特征提取，图像增强会强化眼部细微特征的明显性，从而在保证眼纹图像清晰的情况下才能提取足够的眼纹特征。
关于眼纹注册流程中比较重要的特征提取步骤，李亮说：「提取眼部区域中的微细特征作为感兴趣点，这些和指纹兴趣点的提取有点类似，并且具有很好的时间不变性和个体差异性。除了眼白，眼周也会提取一些兴趣点。」最后，模型为这些兴趣点增加隐私保护就能生成注册流程最终的眼纹模板。
一般同一个人眼纹特征有非常多对应的地方，而不同人的眼纹特征极少有对应的地方，因此只需要设定一个合理的阈值就能根据眼纹识别不同的人。此外，目前眼纹识别的难点还在于前面的分割、增强和特征提取算法，这方面还有很多工作需要不断优化。
在支付宝看来，尽管多模态识别已经结合了很多前沿技术，但眼纹等仍需要更多的研究与实验才能真正支撑起下一代识别应用。
