泽南原创

让自动驾驶撞墙,刷别人的脸付账:最新的AI安全漏洞让我们开了眼界

那些专家们曾经担心过的 AI 算法漏洞是可以实现的,没想到过的也可以实现。

刚刚过去的 1024,极棒大赛上演了全新形式的人机攻防对决。

劫持正在飞行的无人机、干扰自动驾驶汽车 「致盲」、戴上口罩刷别人的脸结账,在上周六的 GeekPwn 2020 国际安全极客大赛上,全球顶级白帽黑客们向我们揭开了 AI 模型、物联网、5G 等领域的不少未知漏洞。

本次大赛,有超过 600 支来自不同科技公司、大学的极客队伍报名参赛,最终有近 50 支在 10 月 24 日共同面向 500 万元奖金池发起了冲击。

决赛开始之前,今年的 GeekPwn 大赛早在 3 月即开放了各赛题的报名,4 月份各项比赛公布规则,在 8 月底 CAAD 线上比赛宣告结束。10 月 24 日来到现场的团队,各个身怀绝技。

他们面临的挑战也不同以往——主办方为选手们准备了全新的挑战。今年的八大赛题包括「新基建」安全大赛、基于漏洞攻破挑战赛、非基于漏洞攻破挑战赛、云安全比赛、少年黑客马拉松大赛、虚假人脸 AI 识别大赛、AI 变脸口罩挑战赛以及窃密与反窃密挑战赛。每个赛题下还分为多个单项比赛,关注不同的方向。


其中,腾讯安全联合 GeekPwn 举办的国内首个新基建安全大赛涵盖了 5G、物联网和人工智能,其中各个挑战者们针对车联网、无人机、安检设备、智能电表等目标的破解,让人们对这些产业的安全有了新的认识。

戴上口罩,刷别人的脸

刷脸门禁、手机解锁、机场安检…… 使用人工智能算法的人脸识别,最近已经成为人们每天都在使用的技术。因为 2020 年初的新冠疫情,越来越多佩戴口罩的情形为人脸识别带来了新的挑战。有一些科技公司已经推出了即使戴上口罩也能识别出人脸的新技术,据称准确率可以达到 99%。但另一方面,人们佩戴的口罩覆盖了人脸的很大一部分面积,也为加入对抗样本进行人脸识别破解留下了「后门」。

这场挑战模拟了人脸识别自动售货机和 ATM 取货场景,选手们可以利用 AI 算法自制印上攻击样本的口罩遮挡自己的面部,需要在 150 秒内让售货机与取款机人脸识别算法识别成主办方指定的目标,包括蒋昌建、「美国队长」克里斯 · 埃文斯、伊隆 · 马斯克等人。

在这其中,挑战的目标还包括白盒算法(ArcFace 算法)与黑盒算法两个赛道。顾名思义,黑盒算法是指攻击者事先并不知晓人脸识别算法的构成,破解难度更大。

GeekPwn 创始人王琦(大牛蛙)戴上了假冒主持人蒋昌建的口罩:AI 对抗样本的攻击,并不是把目标人脸的一部分打印在口罩上那么简单。

比赛对于两台机器各设置了三个难度递增的关卡,每一关口罩的有效攻击区域依次递减,对抗样本图案在口罩上的面积从 75%,降低至 67%,再降低至 50%,难度逐渐增大,前一关挑战失败则意味着失去后一关的挑战资格。

入围决赛的团队包括 AFMask 团队,海棠初白团队,来自清华大学和北京大学的动动动动弦团队,以及来自清华大学计算机系和 RealAI 的 TSAIL 队。

戴上口罩,我就能变脸取钱吗?我们时常会听到各家厂商谈起「金融级别安全」的支付技术,要想破解跟钱有关的人脸识别系统,并不是说说那么简单的,事实上比赛的进程也验证了人们的预料。

第一个出场的动动动动弦团队,在第一轮两个挑战均告失败;第二组 AFMask 团队两项第一轮均破解成功,但在第二轮两项均挑战失败。TSAIL 和海棠初白两队也都倒在了第一轮。

刷脸支付难以破解,或许也是因为挑战的规则略显严格:每次尝试仅有 45 秒时间,只有一组队伍闯过了第一关。另外由于比赛只要求「置信度」达到 50% 即告闯关成功,在现实世界中支付环境的要求显然更高,对于我们来说,刷脸支付被「盗号」的可能性仍然很低。

让 Autopilot「自动撞墙」

自动驾驶虽然距离大规模应用还有一段时间,但是在量产车上已经有不少可以让司机解放双手的辅助驾驶功能了。对于不少人来说,有没有 L2 级自动驾驶已经成为了最近买车时着重考虑的因素。在本届极棒大赛中对自动驾驶的干扰挑战,向我们展示了这种技术的一些隐患。

进行本次挑战的白帽黑客吴潍浠表示,要对汽车自动驾驶系统中的毫米波雷达进行干扰,采用的设备体积很小,价格也不贵。目前毫米波雷达是各类传感器中公认稳定性较高的方式。

我们知道,目前的一些辅助驾驶技术,如特斯拉上的 Autopilot,是通过摄像头和雷达来收集路面信息的,不同汽车选择的传感器不太一样(如特斯拉就没有用到激光雷达),但算法会收集所有的输入信息进行综合判断。技术人员制作的攻击用白色小盒子,看起来很不起眼,但它可以造成的扰乱效果却可以「致命」。


首先是没有干扰的测试,汽车的自动驾驶会在遇到纸箱堆成的「墙」面前停下来。

把干扰器放到「墙脚下」,令人疑惑的现象出现了:汽车在进入自动驾驶模式后,看到眼前由纸箱堆成的墙之后似乎犹豫了一下,有一个减速过程,但无法识别前面的物体又加速撞了上去。最终「事故」发生,在实际环境下的黑客攻击宣告成功。


在很多带有自动驾驶功能的汽车中,只要有一种传感器给出危险讯号,则系统就会指示车辆刹停。但在实验中汽车仍然撞向障碍物,这次挑战的成功,让人们意识到在自动驾驶汽车进入实用化之前,还有很多工作要做。

据主办方 GeekPwn 介绍,毫米波雷达攻击的测试结果已提交给特斯拉方面,黑客们也将帮助车企对自动驾驶安全进行持续改进。

在 10 月 24 日的比赛现场,还有很多挑战成功的项目:来自 TQL(清华 - 奇安信联合研究中心)的安全研究人员利用位未知安全漏洞以云端接入的方式,对正在作业的植保无人机发起攻击,成功获取了植保无人机的最高使用权限,使其偏离原定航道。来自凤凰解码(Phoenix Decoder,PhD)的白帽黑客也成功利用视频协议中的未知安全漏洞,以网络接入云端的方式,对智能摄像头实施了远程攻击。

这些闻所未闻的漏洞,为什么都出现在 GeekPwn 上?

最近一两年里,我们见证了人工智能技术的大量落地。在每天都面临各种变化的安全领域,新的形势与挑战正在出现。实际上,AI 安全有两层含义:即用 AI 方法解决安全问题,以及 AI 技术的安全防护问题。

「GeekPwn 曾经举办过的『数据追踪挑战赛』,鼓励人们用 AI 的方法从大量的数据中快速、准确的定位恶意网站或恶意应用,」极棒大赛负责人杨泉说道。「在 AI 技术大量进入实践阶段时,其自身的安全问题,又成了人们需要重点关注的领域。GeekPwn 连续多年举办的 CAAD(对抗样本攻防赛)比赛对人工智能可能存在的安全问题进行赛题设置,通过比赛的方式暴露 AI 算法的缺陷,进而促进人工智能更健康的发展。」


站在攻击者的视角将威胁预演,提前暴露风险,并警告被破解厂商,是提升数字安全防御体系长久以来一直通行的方式,这也正是 GeekPwn 大赛的核心价值所在。今年的国际安全极客大赛已经是第七届了,在这些年的极棒大赛里,我们见证了 AI 技术的大规模应用,以及「对抗样本攻击」等破解技术的兴起,极客们在赛场上已经披露了数百个高危漏洞。

今天,每个人都在使用各种各样的电子设备,这说明安全漏洞在我们的生活中普遍存在。然而我们一直在享受新技术带来的便利,却忽略了技术背后存在的隐患,极棒通过挑战比赛的方法将未知漏洞展示出来,让人们对于新技术有了更多的认识,同时也唤起了对于技术安全防范的重视。

除了发现漏洞,还有培养新人。本届 GeekPwn 还举办了首届「少年黑客马拉松大赛」,吸引了很多十到十六岁的黑客前来参赛。相比热度越来越高的机器学习,信息安全有时会被人们认为门槛过高,不过杨泉对此有着不同的看法。

「各个行业都有自己的入行『门槛』,我不认为行业不同,门槛就有高下,」杨泉表示。「AI 现在正被人热捧,可是人工智能已经经历了六七十年默默无闻的发展历史。目前看网络安全的人才有很大缺口,是因为近些年网络安全越来越受到重视,行业需求越来越大。至于门槛高低,从个体来谈,更多的是对网络安全行业的热情和投入,只要具备一定的基础知识,加上必须的努力和研究,就会取得不错的成绩。」

极客们还将继续挑战自我,为构建安全的应用作出更多贡献。而极棒大赛的组织者们表示,明年的 GeekPwn 还会有更多新比赛出现。但是,始终不变的是发现、鼓励、培养安全人才。GeekPwn 希望能让更多人了解、理解安全,让人们生活的更加安全。
产业安全漏洞
相关数据
机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

人脸识别技术

广义的人脸识别实际包括构建人脸识别系统的一系列相关技术,包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。 人脸识别是一项热门的计算机技术研究领域,它属于生物特征识别技术,是对生物体(一般特指人)本身的生物特征来区分生物体个体。

自动驾驶汽车技术

自动驾驶汽车,又称为无人驾驶汽车、电脑驾驶汽车或轮式移动机器人,是自动化载具的一种,具有传统汽车的运输能力。作为自动化载具,自动驾驶汽车不需要人为操作即能感测其环境及导航。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

腾讯机构

腾讯科技股份有限公司(港交所:700)是中国规模最大的互联网公司,1998年11月由马化腾、张志东、陈一丹、许晨晔、曾李青5位创始人共同创立,总部位于深圳南山区腾讯大厦。腾讯由即时通讯软件起家,业务拓展至社交、娱乐、金融、资讯、工具和平台等不同领域。目前,腾讯拥有中国国内使用人数最多的社交软件腾讯QQ和微信,以及中国国内最大的网络游戏社区腾讯游戏。在电子书领域 ,旗下有阅文集团,运营有QQ读书和微信读书。

http://www.tencent.com/
推荐文章
暂无评论
暂无评论~