让对方把头侧扭90°，这一动作可辨别Deepfake伪造人脸

看似「天衣无缝」的伪造技术，也是有漏洞的。

视频伪造是 Deepfake 技术最为主要的代表，其制作假视频的技术也被称为人工智能换脸（AI face swap)。一直以来，研究者发现 DeepFake 存在着这样一个漏洞：当伪造人脸头部转到 90 度时（侧脸 90 度），对方就能识别视频中的人脸是不是伪造的。

这是怎么回事呢？在最近的一项测试中，技术专家兼评论员 Bob Doyle 允许研究人员进行一些关于人脸伪造的测试，期间研究人员采用 DeepFaceLive 来改变他的外貌。DeepFaceLive 是流行的 DeepFaceLab 软件的一个直播版本，能够帮助用户实时创建不同的视频身份。

测试中，在人脸转到 90 度以前，其余角度我们很难发现这张脸是伪造的。

为什么人脸转到 90 度时会出现漏洞？原来这些深度伪造模型都没有经过高质量的人脸轮廓数据训练，因而不能转换面部的不同边界，或者执行必要的修复。

不过，借助这一漏洞，我们可以判断视频会议中与自己交谈的人是真实的还是伪造的。

横向限制

这一漏洞是怎么造成的呢？

在 Deepfake 技术中，用于估计面部姿态的标准软件如「Facial Alignment Network」，在有些情况下不能无法可靠地工作。事实上，大多数基于 2D 的人脸对齐算法在从正面人脸映射到侧面人脸中，仅仅对齐了 50-60% 特征点。

我们以论文《Joint Multi-view Face Alignment in the Wild》来说，其展示了多视点人脸对齐，正面对齐包含 68 个特征点，而侧脸对齐只有 39 个。典型的 2D 人脸对齐算法使侧轮廓视图隐藏了 50% 的特征点，这会妨碍模型的识别、训练以及后续人脸合成。

意识到这个缺陷后，许多病毒式 Deepfake 都会有针对性地进行规避。一些人做出了一些努力，比如 YouTube 上就有人做过实验，他们通过大量的后期处理，将 Jerry Seinfeld 的脸替换到《低俗小说》 (1994) 中的紧张场景中，获得了很棒的侧视图。

当然，完成如此逼真的换脸还需要大量的训练。本次用到了《宋飞传》里的镜头，时长达 66 小时，其中大部分镜头是 Jerry Seinfeld 的。

影视演员可以获得大量人脸视频，但对于我们普通人来说，侧面 90 度的照片却很少，可能是侧面照不能表达太多东西，而更多角度的照片可以提供更丰富的内容。

由于可用数据缺乏，很难获得一系列普通人的图像。因此，Deepfake 这一缺点提供了一种潜在的方法，可以在实时视频通话中发现「伪造」的人脸。如果你怀疑和你说话的人可能是一个「深度伪造的人脸」，你可以让他们侧身一到两秒钟，看看对方有没有破绽露出。

今年 5 月，AI 安全公司 Sensity 发布了一份报告和一段视频，展示了一个类似 DeepFaceLive 的系统，该系统通过伪造身份成功地骗过活体检测器。

Sensity 视频截图展示了 deepfake 对活体检测器的攻击。图源：theverge

Sensity CEO 兼首席科学家 Giorgio Patrini 表示，他们在实验和测试中没有进行 90 度人脸检测，并表示将人脸的侧视图用作身份验证的一种形式时，确实可以提供一些保护来防止 deepfake 技术。正如前面所指出的，缺乏广泛可用的侧视图数据，使得 deepfake 检测器的训练非常具有挑战性。

意识到训练数据的缺陷，论文《Dual-Generator Face Reenactment》的附加材料中提供了一些包含 90 度的人脸照片。

自该现象出现以来，研究界一直在深入研究和开发 deepfake 检测技术，但在一定程度上相关技术还是受到了阻碍。

尽管如此，研究人员还是提出了一些解决方案来保证视频通话中的安全。这些解决方案包括测量监视器照明、评估面部区域的不一致等方法。

Deepfake 换脸能够以假乱真，但鉴别算法总能找到破绽，以控制假视频的传播。

原文链接：

https://metaphysic.ai/to-uncover-a-deepfake-video-call-ask-the-caller-to-turn-sideways/

:https://www.theverge.com/2022/5/18/23092964/deepfake-attack-facial-recognition-liveness-test-banks-sensity-report

理论DeepFake

相关数据

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

人脸检测技术

人脸检测（face detection）是一种在任意数字图像中找到人脸的位置和大小的计算机技术。它可以检测出面部特征，并忽略诸如建筑物、树木和身体等其他任何东西。有时候，人脸检测也负责找到面部的细微特征，如眼睛、鼻子、嘴巴等的精细位置。

来源：维基百科

人脸对齐技术

人脸对齐可以看作在一张人脸图像搜索人脸预先定义的点（也叫人脸形状），通常从一个粗估计的形状开始，然后通过迭代来细化形状的估计。

来源：csdn