AI「照妖镜」:不仅知道你P过图,还知道你P图前长啥样

识别 PS 照片的问题,还是需要依靠推出 PS 的公司 Adobe 来解决。

现在的社交媒体上充斥着各种自拍,而且其中大部分人物都长得挺好看。但大家心知肚明的是,这些照片大多被 P 过。有很多人甚至因为 P 得一手堪比「整容」的照片而走红。

虽然只是出于爱美之心,但不可否认的一个事实是,这些「照骗」的盛行,的确让我们对社交媒体的信任日渐下降。

随着技术的发展和流行,制作这种假照片的门槛越来越低,几乎人人都可以是修图大师,更不用说手机厂商和科技公司已经有实时 AI 美颜技术了。

如果有人利用 P 过的图来行骗,成功率估计也会相应提高。

那我们要如何识别这些被 P 过的照片呢?

众所周知,PS 是美国公司 Adobe 推出的一款专业图形编辑软件 Photoshop 的简称。自 1990 年发布之后,Photoshop 已经成为创造力和艺术表达进步的重要组成部分,甚至广泛影响了我们的视觉文化。但谁曾想到作为「万恶之源」的 Adobe 也在研究破解 PS 的方式。

最近,Adobe 的研究人员和来自 UC Berkeley 的合作者开发了一种检测图像 PS 痕迹的方法。该方法效果如何呢?请先看下图:

如果对比左右两张图,你可能会发现右图的脸颊更宽,而左图中更瘦,尤其是靠近下巴一块;右图的嘴角下垂,而左图嘴唇是微笑的状态。

但如果只看左图呢?你能看出来脸颊被 P 过的痕迹吗?可能下巴左边 P 得过了点,往里凹了一块,有点明显;但右边 P 得算是不错了,不太明显,小编看了半天才发现(可对比右脸下方边缘至旁边白色圆圈的距离)。

但是你看中图的检测分析,该方法圈出了右边嘴角和左脸颊下方的 PS 痕迹,且右脸颊下方用红色标注了。

此外,研究人员通过实验对比发现,人工检测 PS 照片的准确率仅为 53%,而他们提出的方法检测 PS 照片的准确率高达 99%。

准确率对比。

算法原理

这项研究利用卷积神经网络识别「修」过的人脸图片,由 Adobe 研究科学家 Richard Zhang、Oliver Wang 以及 UC Berkeley 的 Shen-Yu Wang、Andrew Owens 与 Alexei A. Efros 参与完成。

Adobe 之前对 PS 图像的检测工作主要集中在拼接、移除、复制方面,而这项研究主要针对 Adobe Photoshop 自带的功能「脸部感知液化」(Face Aware Liquify)。

脸部感知液化可以先识别人脸五官,然后用户可以使用它进行相应的修改,如眼睛大小、额头宽窄、瘦脸、鼻高等,还可以轻松调出微笑唇。

Liquify 工具堪称修图神器,而且使用起来也非常简单。

果然是「以子之矛攻子之盾」啊,Adobe 这项新研究对自己之前推出的「美颜」功能下手了!

根据 Adobe 博客介绍,这项新研究试图解决以下基本问题:

  • 是否可以创建一个比人类识别「修图」还可靠的工具?

  • 该工具能否指出到底「修」了哪儿?

  • 能否撤回对原图的「修改」?

还是以上文的人脸图像为例,右一为原图,左一为 PS 后的图像(Manipulated photo),左二展示了 Adobe 这项新研究的功力:它发现了修图的具体位置(Detected manipulations),那么右二是什么呢?

仔细观察右一和右二,区别大吗?

Adobe 这项新研究把修过的地方又修回去了

对比左一、右二和右一,可以看到,三张图存在一些细微差别。三张图的嘴角弧度不同,原图很明显是下垂的,而修过的图片则是微笑唇,撤销修图后的图片嘴角弧度则处于中间状态。

这些图像被 P 过吗?

研究人员训练了一个卷积神经网络,以识别出修改过的人脸图像。具体而言,他们使用为 ImageNet 分类任务训练的 ResNet50 [13] 架构,然后针对该任务进行微调。

另外,他们通过编写 Photoshop 脚本创建了图像训练集,以在数千幅抓取自网络的照片上进行脸部感知液化调整。

研究人员随机选择这些照片的子集进行训练。他们还请了一名美术师来手动修改一些图像,并将这些图像混入了数据集中。这样的做法拓宽了测试集中图像的修改和技术范围,超出了那些合成图像。

该研究所用数据集的具体数据。

训练数据集中的随机样本示例如下图所示:

Adobe 研究人员 Oliver 表示:「我们首先向人们展示一对图像(修改前和修改后),他们知道其中一幅图像被修改过。若我们的方法能够行之有效,那它在识别编辑过的人脸时效果应显著优于人类。」

实验对比发现,人工检测 PS 照片的准确率仅为 53%,而他们提出的方法检测 PS 照片的准确率高达 99%。

到底动了哪儿?能还原回去吗?

这个工具还能确定面部修改的特定区域和方法。此外,在实验中,该工具可以将修改后的图像还原至它们初始状态,还原效果相当不错。

具体而言,研究人员预测从原图 X_orig ∈ R^(H×W×3) 到修改后的图 X 的光流场(optical flow field)Uˆ ∈ R^(H×W×2)。之后,研究人员尝试「撤销」修改,将图像恢复为原图。

研究人员训练了一个光流场预测模型 F 来预测像素扭曲场(perpixel warping field),衡量其与每个样本真实光流场 U 之间的距离(通过计算原图和修改后的图之间的光流得到)。

下图展示了光流场的一些示例。

损失函数公式如下所示:

其中,X 是修改后的图像,U 是真值光流场,L_epe 表示光流场之间的误差。

研究者试图使光流场更加平滑流畅,于是使用以下损失函数

UC Berkeley 的教授 Alexei A. Efros 说道:「这听起来似乎是不可能的,因为面部几何形状存在着大量的变化。但如果深度学习能够查看低级图像数据(如扭曲伪像)和高级线索(如面部布局),那这种方法似乎是行之有效的。」

那么如何「撤回」对图像的修改呢?

我们现在已经预测到了原始图像到修改图像的光流场,基于此,就可以通过「逆扭曲」来恢复原图。重建损失函数为:

而直接使用该重建损失函数会导致低纹理区域出现模糊和伪影,于是研究者联合训练以上三个损失函数

总之,在架构层面上,研究人员使用在 ImageNet 数据集上训练的 Dilated Residual Network variant (DRN-C-26) [37] 作为基础网络,来进行局部预测。

至于光流场回归网络,研究者首先将该问题重塑为多项式分类,然后再针对光流场回归进行微调。在计算真值光流场时,研究者使用的是 PWC-Net [32]。

应用何时上线?

Richard 补充道:「制作一个神奇的「撤销」按钮来恢复图像编辑的想法离现实还很遥远。但在我们生活的这个世界里,人们越来越难以信任自己消费的数字信息,所以我们非常期待这一领域的进一步研究。

我们看到的明星照片大多经过了 PS。

与此同时,Adobe 正在进行大量研究项目,以帮助验证自身产品所创建的数字媒体的真实性,并识别和阻止滥用现象。

Adobe Research 负责人 Gavin Miller 表示:「该方法在检测某些类型的图像编辑领域迈出了重要一步,同时撤销功能的效果也出奇得好。但除了这种人脸识别方法,有经验的公众才是最好的图像鉴定者。」

Adobe 目前还没有立即将这项研究成果转变为商业产品的计划,一位发言人表示,这只是 Adobe 在更好地检测图像、视频、音频和文档操作方面的众多努力之一。

不过算法已经推出,应用还会远吗?看来解决 AI 造假的问题还是要靠 AI。


参考内容:

https://theblog.adobe.com/adobe-research-and-uc-berkeley-detecting-facial-manipulations-in-adobe-photoshop/

https://www.theverge.com/2019/6/14/18678782/adobe-machine-learning-ai-tool-spot-fake-facial-edits-liquify-manipulations

https://arxiv.org/pdf/1906.05856.pdf

理论图像分类计算机视觉卷积神经网络Adobe
2
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

人脸识别技术

广义的人脸识别实际包括构建人脸识别系统的一系列相关技术,包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。 人脸识别是一项热门的计算机技术研究领域,它属于生物特征识别技术,是对生物体(一般特指人)本身的生物特征来区分生物体个体。

损失函数技术

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学等领域,损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

卷积神经网络技术

卷积神经网路(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据,它可以被认为是以一定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

暂无评论
暂无评论~