Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

谭婧原创亲爱的数据来源

黑客如何用一副纸眼镜,就“弄瞎”人脸识别算法?

本文介绍只戴一副打印的纸眼镜,就可以“弄瞎”手机的人脸识别算法。

特朗普抬起左手,手指捋一捋炸毛的亮黄色头发,右手紧握美国总统特制签名笔,笔尖流水般滑过米白色纸面,墨水凝结,字迹微干。

大名鼎鼎的美国《2019年国防授权法案》,经参众两院审议,由美国总统签署生效。这一刻,也标志着,数字伪造技术(Digital Content Forgery)正式被写入大国史册。

每一年,海量的技术专利如潮水般问世,为何这一项技术写入《法案》? 

如今,信息以光速传播,错误信息,混杂其间。小蒙小骗,大欺大诈,干扰选举,煽动暴力,搅动政局…… 

谣言动动嘴,辟谣跑断腿。还有一个噩耗,人工智能也掺和进去了。 

阳光普照,人工智能赋能百业千行,挽起袖子进车间厂房,提起裤腿下田间地头。阳光照不到的地方,在Boss直聘上高薪诚聘“资深人工智能算法专家”的也可能是黑色产业。 

早在2018年,一段骂特朗普的视频在全美疯传。骂人者不是别人,正是美国前总统奥巴马,他在视频中一本正经:

“Simply, President Trump is a total and complete dipshit. (简而言之,特朗普总统就是个彻头彻尾的笨蛋。)”

这个视频无疑是伪造的。

吃瓜群众,喜大普奔。

特朗普,咬牙切齿。以特朗普的个性,很可能对深度伪造(DeepFake)这一人工智能新技术怀有私愤。 

人工智能的进步,导致计算机能随心所欲地让视频中的人物“变脸”,人声“变调”。有视频和录音“为证”,掀起一场彻底粉碎“不在场证据”的狂欢。 

未来的趋势是,技术审查和政府监督的鞭子会越抽越狠。手举鞭子吓唬人的昨天已逝,现在是一鞭子下去,得皮开肉绽。 

人工智能高超的造假能力未受重视之前,美国政府也只是消极防御。有一天,华盛顿的国会山知道了一件事——“外国不法分子伪造信息祸害美国大选”,他们的态度立刻反转。

 《深度伪造技术报告法案》(DeepFake Report Act)自2019年6月下旬引入,仅仅120天之后,就作为独立法案,在参议院获一致通过,并转交给众议院消费者保护和商业小组委员会。 

两院“围剿”,毫无悬念。

《法案》定义,“深度伪造技术”正式归为“数字内容伪造”,是“使用新兴技术(包括人工智能机器学习技术)来制造或操纵音频、视觉或文本内容,以达到误导他人的目的”。 

《法案》规定,美国国土安全部负责对“数字内容伪造技术”详尽调查,此后得定期汇报。法案颁布之日起5年内,国土安全部部长每年向科学技术部长提交报告。 

两部“碰头”,铁板钉钉。 

层层警报,级级重视,美国最高司法机构的态度,越描越明确。 

深度伪造技术,是一次技术的滥用。啼笑皆非的是,这一技术的开源社区还非常活跃,软件可以上网免费用,“科技作恶”的门槛一降再降。

若以“假脸”论英雄,深度伪造,可谓风光一时。

殊不知,人工智能暗藏一股更强大的力量——对抗样本(adversarial sample)技术。 

掌握了对抗样本

只戴一副打印的纸眼镜,就可以“弄瞎”手机锁屏的人脸识别

掌握了对抗样本

破解APP人脸识别功能,可以分分钟假冒支付宝用户消费、授权网银转账、冒充滴滴专车司机。 

一场你想是谁就是谁的表演,即将上演。

这是新一代黑客秘籍,而江湖却只闻其声。

镜头一:人工智能学派,几十年来沐雨栉风,几经浮沉。一代宗师甩袖抛给弟子一本《对抗攻击算法拳谱》,飘然远走。

镜头二:黑客在大雨中狂奔,一个剧烈的跪滑,表情狂放,仰天长啸:“到底什么是对抗样本?”

镜头三:视频网站B站,瑞莱智慧RealAI公司(下文简称“RealAI公司”)的研究人员,戴上一副纸眼镜,秒级“弄瞎”人脸识别算法。

这已经不是我第一次寻访研究对抗攻击算法的科学家,这次我探访到了RealAI公司的安全算法负责人,萧子豪。

这位毕业于清华大学计算机系的硕士,夏天酷爱穿一件简单的T恤。他总是声调冷静,节奏缓慢,像一潭沉静的湖水。

而他的高中时代活出了一个新闻标题——《别人在高考,保送清华学霸现身考场,为同学加油助威》。脑补萧子豪在电视台记者的话筒前,淡然一笑,表示:“考试没有什么压力,因为我已经保送清华大学物理系了。”

技术的魔力,需以一个实验来说明,才能眼见为实。

视频中,不明身份男子(该角色由萧子豪本尊扮演)戴上一副说不清是爱马仕,还是香奈儿的时尚眼镜,花纹浮夸,色调刻意失真,一股艺术气息扑面而来。感觉是走秀Party,而不是黑客攻击的案发现场。 

人脸识别可以简单地理解为把密码写在脸上,刷脸就是刷卡。破解了人脸识别功能,就是破解了身份认证的唯一性。黑客佩戴眼镜之后,会被人脸识别算法误认为手机主人,解锁手机。

为什么只戴一副打印的纸眼镜,就可以“弄瞎”手机的人脸识别算法?先讲解步骤,再给出前沿学术论文的解释。

第一步,准备三个材料:攻击者的一张照片,受攻击者的多张照片,和一个深度学习人脸识别算法模型(开源的模型也可以)。讲到这里就顺口一提,很多人不在乎隐私保护,社交网站、朋友圈里有大量眉清目秀、五官清晰的照片,这都可能被黑客恶意保存。

“极端情况下,只用受攻击者的一张照片也可以,只是成功率会低一些。”这一句,萧子豪加重了语气。 

第二步,将三个材料输入攻击算法,生成攻击人脸识别算法。这里的攻击算法就是知识产权的核心。算法会利用人脸识别算法模型,从受攻击者的照片中提取他/她的人脸信息,然后在攻击者的照片上构造出攻击用的对抗图案。一般情况下,研究人员称攻击算法生成的图案为对抗图案。对抗图案叠加在原来的图片上,得到带有攻击功能的图片,叫对抗样本。(对抗图案+原有图片=对抗样本对抗样本指的是整张图,对抗图案既可以是局部的,也可以是全局的。) 

黑客的眼镜是算法生成的局部图案。 

第三步,用攻击算法生成的这张图,打印制作成眼镜。表面上,是一副普通的眼镜。背地里,眼镜上的局部图案是对抗样本。戴上眼镜的人,面对手机。随后,发生不可思议的一幕——佩戴了这副眼镜,瞬间成功解锁手机。 

有兴趣的群众,可以研究一下视频中手机的品牌,苹果、华为,还是小米。

而本文关注这个实验中的三个知识点:黑盒、纸眼镜、迁移性。

这是一个典型的黑盒攻击的黑客实验。 

萧子豪解释道,进行攻击的算法和遭受攻击的算法,就像战争中的敌我两方。这两种算法可能不是同一个模型,背后原理是抓住了人脸模型之间的相似性(虽然人脸识别模型各有千秋,但是都属于深度学习模型,免不了会有相似性)。攻击算法寻找、挖掘、抓住不同人脸识别模型之间的相似性,同时放大,这样就有攻击的机会。换句话说,只要攻击者能够从人脸识别模型里面挖掘出漏洞(相似性),就能够攻击模型。 

研发攻击算法的过程中,挖掘相似性是一件很耗神、很熬人的事。

我们都知道,手机里的人脸识别算法需要将摄像头采集到的人脸信息作为输入的信息。手机上装载的人脸识别算法对黑客来说就是黑盒。因为在攻击之前,完全不知道其中的原理,所以称之为黑盒攻击。 

纸眼镜有什么讲究呢? 

眼镜是一个物理世界的真实物件,黑客戴上眼镜,就是为了改变人脸面部的特征。在做眼镜的时候,黑客还要考虑很多来自外部环境的干扰。室内的光照,打印机的色差,都会影响攻击效果。所以,需要有一些色彩矫正算法,或者一些光线补偿的算法,保证最后打印出来的眼镜在实际场景中能够攻破手机的人脸识别算法。

手机厂商使用的人脸模型和攻击它的模型,这个两个模型并不相同,为什么就攻击成功了呢?

答案是迁移性。

萧子豪说:“借用迁移学习的思路,有利于增加对迁移性的理解。”不过这样的解释还不够有诚意。他又补充道:“好比每个人都有常识,神经网络也有自己的常识。人和人想法会差很远,神经网络也是一样。不同神经网络之间用不同的语言。但是,可以用常识沟通彼此都认可的事情。”

神经网络也有自己的常识”是萧子豪打的一个比方,他也愿意用“心理学或者生物学原理”来替代。

就是说,虽然人和人的想法/体质会差很远,但他们都会有相似的心理或者生理弱点。

前沿论文告诉我们,“对抗样本的一个有趣特性就是具有良好的可迁移性,这使得实际应用的黑盒攻击变得可行。”

“通过将动量项整合到攻击的迭代过程中,该方法可以稳定更新方向,并在迭代过程中避开局部最大值,从而得出迁移性更优的对抗样本,进一步提高黑盒攻击的成功率。” 

今时今日,以对抗算法的地位,将其定义为人工智能算法前沿,丝毫不为过。而学术论文又在为其方法的迭代与演化,提供源源不断的新鲜思路。 

纸眼镜的思路,也能用在云计算厂商人脸识别算法的API攻击中。

一般情况下,APP开发者不会自己研发人脸识别算法,而是通过第三方的API接口或SDK组件来获得人脸识别功能,这个第三方,可以是云计算厂商。黑客直接将对抗样本图上传到云厂商的API,进行攻击。这种对抗样本同样也可以使亚马逊、微软等人脸识别平台的服务出现严重的识别错误。 

这也是一个典型的黑盒攻击。 

对抗样本用纸打印出来,黑客可以直接作为“作案工具”。也就是说,对抗样本通过区区打印的照片就可以攻击那些算法工程师冥思苦想才能提高精确度的人脸识别算法。给人脸识别系统捣乱,听上去如此的轻而易举,似乎成了春田花花幼稚园手工课的作业。 

对抗样本技术,是在用算法欺骗算法。这里的算法,是深度神经网络算法,是人工智能算法的一种。所以,也算人工智能人工智能。 

黑盒攻击不是《聊斋志异》里的鬼故事,也不是《哈利波特》里的黑魔法。对抗样本“走出”学术论文,现身于真实的生活环境。 

萧子豪特别提起2017年那场比赛,这是一个标志性事件。这场对抗样本攻防赛,由谷歌公司赞助,由图灵奖获得者Ian Goodfellow牵头,在NIPS顶级学术会议期间举办。参赛团队均来自全球顶级院校,清华大学团队在竞赛的全部三个项目中得到冠军。由清华大学博士生董胤蓬、廖方舟、庞天宇及指导老师朱军、胡晓林、李建民、苏航组队。 

朱军教授在ICLR2020会议的署名论文数量排名中,位居世界第二。 

大风起于青萍之末。

竞赛中,之前的很多积累都用上了,其中一种方法——广泛的基于梯度的迭代算法来增强对抗攻击(Momentum Iterative Method,MIM),被两位图灵奖得主J.Hopcroft教授、G.Hinton教授在ICLR2019等论文中大幅引用,也被该领域主流开源项目FoolBox、Cleverhans等收录为对抗攻击的标准算法。 

方法出自名为《Boosting Adversarial Attacks with Momentum》的论文,这一方法被称为代表性方法。人工智能算法领域,事实性标准最为难得和宝贵。 

2017年,清华大学计算机科学与技术系人工智能实验室就开始研究这一领域。最初刷学术数据集,后面不断地提升攻击的成功率。有了RealAI公司之后,打磨重点从图像分类人脸识别去切。 

一群科研人员掌握独门技术,认为技术切实可行,判断应用价值大,那就出发,冷静且理性。 

算法研究,靠理论指导方向,靠做大量的实验来实现,对抗算法也是如此。理论和其实现无法替代,实现的过程需要征服大量细节,而细节存在于大量的实验中,多番尝试,才能追求更好。就好比化学实验,摸索某种配方比例。积累得够久,才会形成技术壁垒。

都说技术壁垒是技术创业者的护城河。人工智能的护城河饱受质疑,仿佛人人手里有把尺子,伸手就能量出人脸识别算法公司技术壁垒有多高。 

“对抗算法属于人工智能算法,你怎么看别人手中这把尺子?” 

萧子豪的观点是,技术周期上的领先不会太久,领先6个月到12个月,最后也会都被别人赶超。但是,对抗算法有一个独特之处,使得其不会重度依赖从数据上获得的优势。 

猛一听,这是个缺点。然而,面对越来越重视隐私保护的法律环境,这是名副其实的长处。 

人脸识别算法信奉 “人海战术”,越是人脸数据训练出来的模型,效果越好。一个亿的人脸数据用二流设计的算法训练,一千万人脸数据用一流设计的算法训练,前者的准确率往往会更高。这就是一亿人脸数据带来的优势。 

人脸识别算法的人可能需要到处找“照片”,做对抗算法的人,则无此忧虑,因为这种算法训练所需的数据量并不大。 

香港电影《盲探》中,刘德华饰演探案警官,在连续高强度工作后因视网膜脱落而双目失明。靠肉眼夜以继日地盯着监控视频录像,查找犯罪嫌疑人,并不现实。所以,人工智能纷纷在视频监控里上岗,查找视频中和犯罪分子相似度超过97%的人脸。 

可惜,椅子还没有坐热,“对抗样本”的攻击就可能让人工智能看花了眼。眼看“犯罪嫌疑人”进入监控区域,结果就是找不到。因为对抗样本可以制造监控视频里的“隐身人”。

这也许会让海康威视和大华股份这样的监控摄像头厂商紧张。业界是否已有类似的攻击极难调查。谁丢人谁心里知道,吃了亏被窝里流泪,绝少会有人脸识别算法的厂商宣布受到对抗算法攻击的数据,所有电商企业也都不会说自己一年会被黑产薅多少羊毛。 

危险之处还在于,浑然不觉。 

安全极客们在镁光灯下相会,聚在属于自己的“光明顶”——GeekPwn国际安全极客大赛。 

2018年,选手用对抗样本攻击让主持人蒋昌建的照片被识别为施瓦辛格,以此事件“宣告”攻破亚马逊名人识别系统。 

2019年,对抗样本“隐身术”挑战目标检测系统识别。选手需要在A4纸上打印出干扰识别的隐身图案,实现“隐身”,纸张面积随意。是的,他们就是想用一张纸骗过监控,也就是在监控视频中隐身。

比赛结果非常惊人,所有的参赛队伍都在一米处实现“隐身”。肉眼看到明明有人,但是检测时就是“瞎了”。清华战队使用的图像面积最小(14cm*14cm),所以,成功拿下第一名的桂冠。 

萧子豪也参加了比赛,他告诉我,隐身不同于对手机和云厂商API攻击的地方是:

“隐身是攻击物体检测,手机和云厂商是攻击人脸识别,被攻击的模型不同。物体检测模型攻击难度更大,因为其模型内置有对局部遮挡不敏感的能力。” 

即使有高考保送清华的光环,算法研发对萧子豪也是高强度的脑力工作。 

北京夏季的三伏天,挥汗如雨,人像闷在皮鞋里的脚趾。

RealAI公司位于清华科技园,距离清华大学东门只有几百米,萧子豪常去学校泳池消暑,拍打水面,水花落下,气泡上升,哗啦作响,沉在水底的蓝色里,既安静又放松,仿佛只剩下他的思考和水的浮力。 

没有人会怀疑保送生的智商,也没人会怀疑清华学子的自律,而萧子豪告诉我,坚持和抗压比聪明更重要。 

他的体会是:

“把一个新的事物往前推,是一件很难找到方向的事情。研究算法的过程中,会被一个问题困扰一到两年、或者数年。如果所有的精力都用来对抗压力,人会被困住,没有办法前进。有人尝试个一两百次,情绪开始波动,就干不下去了。迷茫的新手试错次数更多,所以,很多人都被阻挡在门外了。”

火车跑得快,全靠车头带。目前,对抗样本的“火车头”并非工业界,而是学术界。

2013年,在谷歌公司约有十年工龄的人工智能科学家Christian Szegedy和其他研究者先在图像分类深度学习模型中发现了对抗样本

随后,前谷歌大脑的年轻科学家伊恩·古德费洛(Ian Goodfellow)等研究者发现了快速攻击的对抗算法。

而后,对抗性样本的研究越来越多。

随着研究推进,文本处理、语音识别、自动驾驶、恶意软件检测等深度学习表现好的领域,统统都被对抗样本攻击了,甭管用循环神经网络,还是强化学习。 

对抗样本”骄傲地笑了,它就是能让人工智能算法失效,让人工智能算法错误分类。专业解释就是,黑客对照片里的像素,进行不可察觉的微小扰动,可以使深度神经网络以较高的置信度错误分类。 

这里,还有两个知识点,一个是较高的置信度,另一个是攻击结果。

这个“较高的置信度”,可以理解为深度神经网络错误分类的时候,自以为有较大的概率自己判断(分类)对了。这种迷之自信,更让人觉得背后发凉,汗毛倒立。“我以为我做对了”的误判比起“我拿不准我是否做对了”,前者似乎更糟糕。 

黑客操纵了人工智能算法的计算结果,甚至可以指定发生结果。一种是,把易烊千玺识别成别人就可以了,这个别人,爱谁是谁,你和我都行。另一种是,无论别人是谁,都识别成易烊千玺。(在专业术语中,前者是非目标攻击,后者是目标攻击。)

奥巴马“假脸风波”,让深度伪造技术名噪一时。对比看来,深度伪造技术只是用算法去欺骗人类的肉眼,而对抗样本技术则是要欺骗算法。 

算法与算法,决战紫禁之巅。

成千上万次的计算,人工智能最终能熟练地完成任务。这么好的技术,在一些领域的表现超越了人类,怎么好端端就傻了呢?

攻防是道法,也是术势。

“生为算法,却又不为造假而来。”是对抗样本的内心独白。

攻击与防御在学术界是一种研究思路,在大型企业安全部门也是方法论。京东安全首席架构师耿志峰,也曾在聊天时告诉我:

“攻防是信息安全的本质。所以,京东安全团队内部会定期开展大规模红蓝对抗的攻防演练。”

“外练筋骨皮”,企业安全团队,红蓝对抗。

“内练一口气”,神经网络对抗样本,相互对抗。

对抗样本是提高人工智能鲁棒性的拳法,其终点是彻底搞懂深度神经网络。深度神经网络人工智能诸多算法的代表作,大放异彩。人脸识别用得越多,威胁也越多。

魔高一尺,道高一丈。

虽然,人脸识别黑盒攻击的成功率还是可观的,但是,在自动驾驶等领域,还需要研究者去研究提升攻击成功率的方法。

虽然,现在深度学习+安全的应用场景还比较有限,能被攻击的对象比较少,但是,未来潜在威胁会越来越多。

虽然,对抗样本攻击在许多场景下还需要适应性地调整和优化,但是,尤擅此类的黑客还比较少,技术还处于起步阶段。

明刀易躲,暗箭难防。

潜在的危险比已知危险更有破坏力。

前沿论文中的理论告诉我们:

“评估最新的人脸识别模型在基于决策的黑盒攻击环境下的鲁棒性,即无法访问模型参数或梯度,只能通过向目标模型发送查询来获取预测标签。这种攻击在实际情况的人脸识别系统中更为实用。”

“一种基于演化算法的高效攻击方法,充分利用搜索空间的局部几何特性,并通过降低搜索空间的维数来提高攻击效率。大规模实验表明,该方法比已有的攻击方法更高效,能够以较少的查询对输入的人脸图像产生最小的扰动。”

对新技术敏感的人,齐声高呼:“人工智能变身黑客啦,求解救,在线等,挺急的。”

对新技术麻木的人,半眯着眼睛,不屑一顾地说:“我们这里,还没有这样的情况(需求)。”

老警察会告诉你,凌晨三四点是入室盗窃的高发时段。人在熟睡中,一时半会还觉察不到被贼偷了。黑产对企业进行攻击也是如此,很有可能没有被发现,一切还在不知不觉中。

有人可能会说,“人工智能换脸”这种好事,还是请领导和土豪先试用。毕竟,黑客肯定盯着高端人士,未必轮得上群黎百姓。

殊不知,给视频中人脸造假的暗潮,汹涌。

根据创业公司Deeptrace的报告,到2019年初,互联网上流传的视频,可以确定为深度伪造技术生产的,有7964个。仅仅9个月后,这个数字就跃升至14678个。根据生活赋予我们的吃亏经验,如果没有工商部门的强势执法,造假的产量不会下降(除非销量不好)。

现实中,专门制造假货的江南皮革厂可以倒闭,而深度伪造技术软件则是免费复制。造假和欺骗是一种病毒,还会变成流行性病毒。

在图像识别、语音识别模式识别任务中,深度学习的准确度超越了人类,这也就是近几年的事。辉煌战绩一眨眼就散去,技术缺陷和可解释性问题倒像个没有尽头的迷宫。

的确,人工智能刚有点能耐,就受到攻击,这真是够闹心的。深度神经网络的台词是:“我很man,是硬科技,也有脆弱的一面。”

人脸识别算法厂商又如何看待对抗攻击算法商业化落地呢?

一位国内著名安防公司的研发副总裁,这样对我说:

“这种新闻一开始很吓人,尤其是当YOLO V3 这种著名的神经网络被攻破的消息传出来后,公司总裁专门把报道用微信转发给我看。我们研发团队内部也专门分派人手去分析研究。”

 “对于这一趋势,我有两方面的态度,一方面,对抗算法的商业化落地,不算是对人脸识别算法厂商的叫板。攻破后,我们就需要在网络结构设计上再动脑筋;另一方面,这不是一件坏事,反而带来新思路,都在为提高算法鲁棒性努力。值得重视的是,如果在人脸识别算法的竞标中,增加对抗样本的测试环节,会对行业产生震动。”

他还补充道:“对抗算法开发难度较大,相信各方都在努力。未来,对抗算法究竟有多大的能量,大家都要拭目以待。”

RealAI公司CEO田天博士的观点也同样不拘泥于算法间的针锋相对,他关注对抗算法给人工智能产业安全带来的价值。

他说道:

“其实,我们的目标客户并不是人脸识别算法公司,除了我们推测他们会自己开发对抗样本相关技术之外,我们更希望能够影响那些采购人脸识别算法的企业,以及权威的评测机构和政府监管者,推动人工智能产业安全能力的提升。

比如国家电网集团采购了(我们公司的)算法和检测平台,用于对集团内部的目标检测类算法(安防、电力设备、电路巡检)进行评测,为保障电网运维安全贡献价值。”

几千年前的楚国,有人一手持矛,一手持盾,在街头叫卖,旁人指出,“以子之矛,陷子之盾,何如?”

人脸识别算法和专攻人脸的对抗算法,表面上犹如长矛与盾牌。如果仅靠嚷嚷谁的技术更厉害,未免愚蠢。产业的要求是,算法的安全级别更上一层楼,是在人工智能算法的研发周期里加一道防火墙。

我们从攻防、对抗,讨论到了人工智能的根基,能不能下结论说“深度神经网络”的鲁棒性还不够好?原因是不是我们研究得还不够透,不够深入?

这个问题,我也请教了佐治亚理工大学计算科学与工程系终身副教授,机器学习中心副主任宋乐教授,他与清华大学朱军教授并列顶级学术会议 ICLR 2020 华人贡献榜首位。

宋乐教授告诉我的第一句话是:“You can say that.(你可以这么说。)”

他解释道:

深度学习网络的鲁棒性还有很多没研究透彻之处。这包括模型设计、模型训练等一系列问题。比如,模型设计上,如何设计神经网络,让它只关心人眼关心的信号,以及能像人一样在识别人脸时,把感知(perception)和符号化推理(symbolic reasoning)结合起来。”

“再比如,人在看不太清楚和有疑虑的时候,会主动把注意力放在脸部细节上,比如嘴巴和眼睛的形状,或者脸上的表情,通过判断和推理细节的正确组合来进一步识别。深度学习网络还不能作到这一点。所以,后续研究的一个重要问题是:如何让深度学习感知和符号化推理相结合?

我相信,这也是人工智能下一步的重要研究方向。”

人工智能的今天,百姓日用为道。

而学术界众人皆知的秘密——深度神经网络容易受到对抗样本的攻击,通过添加难以察觉的扰动来误导分类器。这也是质疑人工智能技术不够安全的原因之一。

而工业界众人皆知的秘密——深度神经网络的安全性和性能同步增长是非常困难的事情。鱼和熊掌如何兼得?

一部分人关心,人工智能够不够聪明?

一部分人关心,人工智能够不够安全? 

世事不难,我辈何用。科学家们早已出发,他们决心深入腹地,探索人工智能的未来。 

于是,对抗样本的论文,以步兵的姿态进入人工智能所有顶级学术会议。

在铿锵的步履声中,开源社区的军号声辽远响起,集结力量,呼唤创新。 

哪里有唾手可得的对抗算法开源? 

第一波,由谷歌员工开源的代码库Cleverhans,用于对对抗示例漏洞进行基准测试。这是全球最早的开源项目,其中也有清华大学计算机科学与技术系人工智能研究所董胤蓬博士的贡献。

第二波,IBM公司的对抗性鲁棒性工具箱(ART),是目前用于机器学习安全性做得最好的,最全面的代码库。IBM公司花了很多力气在做对抗算法,也一直在推对抗样本攻击算法与可解释的人工智能

第三波,德国图宾根大学开源代码库Foolbox。它提供了大多数已发布的对抗性攻击方法,用于基准测试。

截至目前,没有工业级别的开源对抗模型,开源代码还停留在学术数据集上使用的阶段。没有定制化的修改,工业界依然高度依赖学术界分享的成果与信息。全球顶级大厂也把对抗样本技术用在知名产品身上,比如IBM公司的沃森,亚马逊公司的Alexa,这一次,对抗样本的责任不是攻击,而是保护。 

特朗普若有座右铭,那定是“顺我者昌,逆我者亡”。

他还对假视频恶搞之仇怀恨在心。美国总统办公室里咖啡杯摔碎了,还传来咒骂声:“那个深度伪造技术,你们都给我盯紧一点,连我也敢戏弄。” 

天下一物降一物,“深度伪造技术”也有克制之法。

田天博士告诉我:“深度伪造技术并非万无一失。生成的造假视频的画面中会有不自然的纹理存在,让其学习正常情况中的纹理特征,再以此检测造假视频中不一致的纹理,这一方法可以用于打假。 

自古文无第一,武无第二。

对抗样本”与“深度伪造技术”都可以造假,到底谁更牛?

田天博士回答道:“对抗样本是探究神经网络的学习原理,而深度伪造技术属于神经网络的应用,如果要一较高下,做应用比研究原理简单一些。” 

“无论何时,只要人们谈及网络空间安全形势,一定会用形势严峻、应对能力不足等悲观说法,这往往会让决策者感到迷惑:网络空间安全领域为何总是缺少作为呢?” 

2020年5月,方滨兴院士在《人工智能安全》一书中给出的解释是,新技术必然会带来新的安全问题,这是“伴生效应”。 

踏过,字符的河流,

趟过,贝叶斯的浅滩,

互联网的信徒向赛博空间祈祷,

请赐理想之地,

只要纯净,

只要安全。

可惜现代繁华包庇恶俗,

可惜物理世界暗藏杀戮,

祈祷纯净,不如为良知祷告。

寻找理想之地,创造者们划着船,雄浑地行在曲折的水道中,他们的前进,有风、有浪,更有生命的激情。

THU数据派
THU数据派

THU数据派"基于清华,放眼世界",以扎实的理工功底闯荡“数据江湖”。发布全球大数据资讯,定期组织线下活动,分享前沿产业动态。了解清华大数据,敬请关注姐妹号“数据派THU”。

产业人脸识别
相关数据
海康威视机构

海康威视是以视频为核心的智能物联网解决方案和大数据服务提供商。海康威视拥有视音频编解码、视频图像处理、视音频数据存储等核心技术,及云计算、大数据、深度学习等前瞻技术。为PBG(公共服务事业群)、EBG(企事业事业群) 、SMBG(中小企业事业群)三个事业群客户提供专业的细分产品、IVM智能可视化管理解决方案和大数据服务。

http://www1.hikvision.com/cn/index.html?jmode=j1
清华大学机构

清华大学(Tsinghua University),简称“清华”,由中华人民共和国教育部直属,中央直管副部级建制,位列“211工程”、“985工程”、“世界一流大学和一流学科”,入选“基础学科拔尖学生培养试验计划”、“高等学校创新能力提升计划”、“高等学校学科创新引智计划”,为九校联盟、中国大学校长联谊会、东亚研究型大学协会、亚洲大学联盟、环太平洋大学联盟、清华—剑桥—MIT低碳大学联盟成员,被誉为“红色工程师的摇篮”。 清华大学的前身清华学堂始建于1911年,因水木清华而得名,是清政府设立的留美预备学校,其建校的资金源于1908年美国退还的部分庚子赔款。1912年更名为清华学校。1928年更名为国立清华大学。1937年抗日战争全面爆发后南迁长沙,与北京大学、南开大学组建国立长沙临时大学,1938年迁至昆明改名为国立西南联合大学。1946年迁回清华园。1949年中华人民共和国成立,清华大学进入了新的发展阶段。1952年全国高等学校院系调整后成为多科性工业大学。1978年以来逐步恢复和发展为综合性的研究型大学。

http://www.tsinghua.edu.cn/
相关技术
华为机构

华为创立于1987年,是全球领先的ICT(信息与通信)基础设施和智能终端提供商。

https://www.huawei.com/cn/
IBM机构

是美国一家跨国科技公司及咨询公司,总部位于纽约州阿蒙克市。IBM主要客户是政府和企业。IBM生产并销售计算机硬件及软件,并且为系统架构和网络托管提供咨询服务。截止2013年,IBM已在全球拥有12个研究实验室和大量的软件开发基地。IBM虽然是一家商业公司,但在材料、化学、物理等科学领域却也有很高的成就,利用这些学术研究为基础,发明很多产品。比较有名的IBM发明的产品包括硬盘、自动柜员机、通用产品代码、SQL、关系数据库管理系统、DRAM及沃森。

https://www.ibm.com/us-en/
相关技术
朱军人物

朱军,清华大学计算机系长聘副教授、卡内基梅隆大学兼职教授。2001 到 2009 年获清华大学计算机学士和博士学位,之后在卡内基梅隆大学做博士后,2011 年回清华任教。主要从事人工智能基础理论、高效算法及相关应用研究,在国际重要期刊与会议发表学术论文百余篇。担任人工智能顶级杂志 IEEE TPAMI 和 AI 的编委、《自动化学报》编委,担任机器学习国际大会 ICML2014 地区联合主席, ICML (2014-2018)、NIPS (2013, 2015, 2018)、UAI (2014-2018)、IJCAI(2015,2017)、AAAI(2016-2018)等国际会议的领域主席。获 CCF 自然科学一等奖、CCF 青年科学家奖、国家优秀青年基金、中创软件人才奖、北京市优秀青年人才奖等,入选国家「万人计划」青年拔尖人才、MIT TR35 中国区先锋者、IEEE Intelligent Systems 杂志评选的「AI's 10 to Watch」(人工智能青年十杰)、及清华大学 221 基础研究人才计划。

Ian Goodfellow人物

Ian Goodfellow 是机器学习领域备受关注的年轻学者之一,他在本科与硕士就读于斯坦福大学,师从吴恩达,博士阶段则跟随蒙特利尔大学的著名学者Yoshua Bengio研究机器学习。Goodfellow 最引人注目的成就是在2014年6月提出了生成对抗网络(GAN)。这一技术近年来已成为机器学习界最火热的讨论话题,特别是在最近几个月里,与GAN有关的论文不断涌现。GAN已成为众多学者的研究方向。

深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

人脸识别技术

广义的人脸识别实际包括构建人脸识别系统的一系列相关技术,包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。 人脸识别是一项热门的计算机技术研究领域,它属于生物特征识别技术,是对生物体(一般特指人)本身的生物特征来区分生物体个体。

模式识别技术

模式识别(英语:Pattern recognition),就是通过计算机用数学技术方法来研究模式的自动处理和判读。 我们把环境与客体统称为“模式”。 随着计算机技术的发展,人类有可能研究复杂的信息处理过程。 信息处理过程的一个重要形式是生命体对环境及客体的识别。其概念与数据挖掘、机器学习类似。

YOLO技术

YOLO 模型最早是由 Joseph Redmon 等人在 2015 年发布的,并在随后的两篇论文中进行了修订。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

云计算技术

云计算(英语:cloud computing),是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机各种终端和其他设备。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

迁移学习技术

迁移学习是一种机器学习方法,就是把为任务 A 开发的模型作为初始点,重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务,虽然大多数机器学习算法都是为了解决单个任务而设计的,但是促进迁移学习的算法的开发是机器学习社区持续关注的话题。 迁移学习对人类来说很常见,例如,我们可能会发现学习识别苹果可能有助于识别梨,或者学习弹奏电子琴可能有助于学习钢琴。

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域,它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性,目前的语音识别系统只能在一定的限制条件下获得满意的性能,或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

查询技术

一般来说,查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域,查询指的是数据库和信息系统对信息检索的精确要求

对抗样本技术

对抗样本是一类被设计来混淆机器学习器的样本,它们看上去与真实样本的几乎相同(无法用肉眼分辨),但其中噪声的加入却会导致机器学习模型做出错误的分类判断。

动量技术

优化器的一种,是模拟物理里动量的概念,其在相关方向可以加速SGD,抑制振荡,从而加快收敛

图像分类技术

图像分类,根据各自在图像信息中所反映的不同特征,把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析,把图像或图像中的每个像元或区域划归为若干个类别中的某一种,以代替人的视觉判读。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

深度神经网络技术

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

京东机构

京东(股票代码:JD),中国自营式电商企业,创始人刘强东担任京东集团董事局主席兼首席执行官。旗下设有京东零售、京东物流、京东科技子集团、印尼&泰国海外合资跨境电商等核心业务。2013年正式获得虚拟运营商牌照。2014年5月在美国纳斯达克证券交易所正式挂牌上市。 2016年6月与沃尔玛达成深度战略合作。

https://www.jd.com
相关技术
瑞莱智慧机构

RealAI是孵化自清华大学人工智能研究院的产学研技术公司,由清华大学人工智能研究院院长张钹院士、清华大学朱军教授担任首席科学家。RealAI致力于研究和推广安全、可靠、可信的第三代人工智能,不断突破AI发展的边界。 在探索“真正”的人工智能同时,RealAI聚焦传统AI难以解决的新应用领域,依托贝叶斯深度学习等核心技术,赋能工业、金融等垂直行业。目前,RealAI与国内多家大型工业制造企业、金融机构开展合作,提供工业智能诊断分析、金融资产智能提升和人工智能系统安全防护等服务,助力企业智能化升级。

https://www.realai.ai
相关技术
目标检测技术

一般目标检测(generic object detection)的目标是根据大量预定义的类别在自然图像中确定目标实例的位置,这是计算机视觉领域最基本和最有挑战性的问题之一。近些年兴起的深度学习技术是一种可从数据中直接学习特征表示的强大方法,并已经为一般目标检测领域带来了显著的突破性进展。

可解释的人工智能技术

一个可以解释的AI(Explainable AI, 简称XAI)或透明的AI(Transparent AI),其行为可以被人类容易理解。它与机器学习中“ 黑匣子 ” 的概念形成鲜明对比,这意味着复杂算法运作的“可解释性”,即使他们的设计者也无法解释人工智能为什么会做出具体决定。 XAI可用于实现社会解释的权利。有些人声称透明度很少是免费提供的,并且在人工智能的“智能”和透明度之间经常存在权衡; 随着AI系统内部复杂性的增加,这些权衡预计会变得更大。解释AI决策的技术挑战有时被称为可解释性问题。另一个考虑因素是信息(信息过载),因此,完全透明可能并不总是可行或甚至不需要。提供的信息量应根据利益相关者与智能系统的交互情况而有所不同。

暂无评论
暂无评论~