路 王淑婷参与

GeekPwn对抗样本挑战赛冠军队伍开源人脸识别攻击解决方案

10 月 24 日,2018 GeekPwn 国际安全极客大赛在上海展开,由 FAIR 研究工程师吴育昕、约翰霍普金斯大学在读博士谢慈航组成的团队获得了令人瞩目的 CAAD CTF 冠军。近日,该冠军队伍开源了其在人脸识别攻击项目中的解决方案。

2018 Geekpwn CAAD(对抗样本挑战赛)继承了 NIPS CAAD 2017 比赛的形式,但同时也添加了一些新的挑战。2018 年 10 月,吴育昕和谢慈航受邀参加 Geekpwn CAAD CTF,这是一场展示不同类型对抗样本攻防的现场比赛。

比赛上半场中,赛会要求所有选手进行非定向图片(将飞行器识别为任何其他物体)、定向图片(将武器识别为特定的其他物品)以及亚马逊名人鉴别系统(将大赛主持人蒋昌建的照片识别为施瓦辛格)共计三种图像的对抗样本攻击。由于在比赛前选手并不知晓题目模型所采用的算法,所以此类攻击也被称为「黑盒攻击」,其中第三个挑战在赛前更是被评委视为「无法完成的任务」。

第三项挑战是一项新挑战,要求参赛队伍攻击未知的人脸识别系统。在限时 30 分钟的上半场比赛中,参赛者拿到大赛主持人蒋昌建的照片。他们需要对照片做一些小的修改,以欺骗人脸识别系统,让它把照片中的人识别为施瓦辛格。比赛结束后,大家才知道该人脸识别系统是亚马逊名人鉴别系统。

吴育昕与谢慈航组成的「IYSWIM」战队在限时 30 分钟的比赛中,首先于 21 分钟破解了亚马逊名人鉴别系统 Celebrity Recognition,并随后在定向图片的对抗样本攻击上破解成功,取得了领先。

近日,吴育昕在博客中简单介绍了他们对人脸识别的攻击,代码也放到了 GitHub 上。吴育昕称他们对比赛其他类型的攻击使用的是类似的算法,只是换了不同的 CNN。而关于比赛下半段防御相关内容的 paper 将稍后放出,代码和模型将于明年开源。

攻击方法

吴育昕在博客中称其黑盒攻击是很传统的方法,即用已知模型做梯度下降

1. Model:

搜了搜 GitHub 上的人脸识别代码,找了个 5 分钟内能跑起来的 facenet。毕竟 GitHub 上大部分代码质量堪忧,有不少项目完全是靠 README 骗 star 的。能否短时间内复现 evaluation 结果是评判质量的重要 metric。更何况,我这次只需要能 evaluation 就够了。

facenet 的人脸识别流程很标准:对每张脸 I 输出一个 vector f(I),然后通过比较不同脸的 f(I) 之间的 cosine distance 进行人脸识别

2. Objective:

对于分类器的 target/untarget attack,没什么好说的,就是 minimize/maximize 一个 cross entropy loss。而对于人脸,我们首先收集 target 人物的 N 张人脸图片,运行模型得到 N 个 embedding vector v_i。我们的 objective 就是 minimize 输入图片的 embedding 到这 N 个 embedding 的平均距离:

3. Attack:

我们在最原始的 PGD (Projected Gradient Descent) 攻击上加了点 trick。原始的 PGD 就是

 1)算 objective 对输入图片的梯度 ΔI

 2)更新输入 I = I−sign(ΔI)

 3)clip 以免输入超出允许范围:I←clip(I,I_orig−ϵ,I_orig+ϵ)

 4)回到第一步循环

这里有不少 trick 可以提高黑盒攻击的 generalization 能力:

 1)对梯度 normalize 一下,然后更新时用 0.9 的 momentum

 2)在循环每一步给图片随机加点小 noise

 3)在循环每一步对输入图片做些乱七八糟的随机 resize 变换

 4)对梯度做 spatial smoothing

这些 trick 从去年的 NIPS 比赛之后就陆续被大家用了。这次的人脸攻击用了 1,2,3。第三条是我比赛时发现代码不 work 临时加上的。事后验证发现,这一点尤其重要。如果不加的话攻击很难成功。

在相关的 GitHub repo 中,我们可以看到该团队的攻击代码和结果:

结果

比赛期间,吴育昕团队成功地攻击了 AWS 名人鉴别系统,让它把蒋昌建识别为了施瓦辛格。

下面这个挑战比较困难(不同随机种子的成功率较低),可能是因为:1)原人物和目标人物都是美国名人。2)性别不同。

很明显,Azure Vision API 和 Clarifai Celebrity Recognition 系统都可以被欺骗:

以上图像的原版本和对抗版本都可以从以下地址找到,若有兴趣你可以下载并在公开 API 上进行测试:https://github.com/ppwwyyxx/Adversarial-Face-Attack/blob/master/images

使用代码的准备工作

1. 安装 TensorFlow ≥ 1.7

2. 按照 facenet wiki 中的步骤 1 - 4 设置 facenet (https://github.com/davidsandberg/facenet/wiki/Validate-on-LFW)

3. 复制此 repo 并解压内部的预训练模型:

git clone https://github.com/ppwwyyxx/Adversarial-Face-Attack
cd Adversarial-Face-Attack
wget https://github.com/ppwwyyxx/Adversarial-Face-Attack/releases/download/v0.1/model-20180402-114759.tar.bz2
tar xjvf model-20180402-114759.tar.bz2

你也可以从 facenet 下载模型(https://github.com/davidsandberg/facenet#pre-trained-models)。

4. 验证模型和数据集:

./face_attack.py --data /path/to/lfw_mtcnnpy_160 --validate-lfw
# /path/to/lfw_mtcnnpy_160 is obtained above in step #4 in facenet wiki.

它应该在 LFW 数据集上有高准确率,如:

Accuracy: 0.99517+-0.00361
Validation rate: 0.97467+-0.01454 @ FAR=0.00067

执行攻击

./face_attack.py --data /path/to/lfw_mtcnnpy_160 \
    --attack images/clean-JCJ.png \
    --target Arnold_Schwarzenegger \
    --output JCJ-to-Schwarzenegger.png

--target 必须是在 LFW 数据集中有很多图像(越多越好)的人。可以通过以下方式找到这种人:

find /path/to/lfw_mtcnnpy_160/ -type f -printf "%h\0" | \
    xargs -0 -L1 basename | sort | uniq -c | sort -k1 -n 

你可以在 LFW 目录中添加新的名人作为 victim,或者为 LFW 中现有的名人添加图像。添加新图像之后,你需要重复 facenet wiki 中的步骤 4,以裁剪和对齐添加的新图像。

请注意,攻击包含随机性:你不会每次都得到相同的输出。


工程人脸识别吴育昕GeekPwn
21
相关数据
AWS机构

亚马逊网络服务系统(英语:Amazon Web Services,缩写为AWS),由亚马逊公司所创建的云计算平台,提供许多远程Web服务。Amazon EC2与Amazon S3都架构在这个平台上。在2002年7月首次公开运作,提供其他网站及客户端(client-side)的服务。截至2007年7月,亚马逊公司宣称已经有330,000名开发者,曾经登录过这项服务。

相关技术
亚马逊机构

亚马逊(英语:Amazon.com Inc.,NASDAQ:AMZN)是一家总部位于美国西雅图的跨国电子商务企业,业务起始于线上书店,不久之后商品走向多元化。目前是全球最大的互联网线上零售商之一,也是美国《财富》杂志2016年评选的全球最大500家公司的排行榜中的第44名。

https://www.amazon.com/
相关技术
吴育昕人物

吴育昕是Facebook人工智能研究机构FAIR的一名工程师,主要研究计算机视觉方向。

人脸识别技术

广义的人脸识别实际包括构建人脸识别系统的一系列相关技术,包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。 人脸识别是一项热门的计算机技术研究领域,它属于生物特征识别技术,是对生物体(一般特指人)本身的生物特征来区分生物体个体。

梯度下降技术

梯度下降是用于查找函数最小值的一阶迭代优化算法。 要使用梯度下降找到函数的局部最小值,可以采用与当前点的函数梯度(或近似梯度)的负值成比例的步骤。 如果采取的步骤与梯度的正值成比例,则接近该函数的局部最大值,被称为梯度上升。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

对抗样本技术

对抗样本是一类被设计来混淆机器学习器的样本,它们看上去与真实样本的几乎相同(无法用肉眼分辨),但其中噪声的加入却会导致机器学习模型做出错误的分类判断。

推荐文章
留个名。