汽车涂装能有多危险?模型和你,或许都不可靠!

人工智能模型的安全问题一直令人担忧,通过设计好的汽车涂装或许就能令模型失效。

人工智能技术日新月异,极大地推动了计算机视觉自然语言处理等领域的进步。近年来,视觉应用安全成为大家关心的热门,特别是,在公共安全、自动驾驶等领域中,亟待回答这一问题。

例如,一辆特殊涂装的车辆可能骗过智能监控摄像头混入特定区域,或者导致车祸,这听起来不可思议,但是却可能成为事实。


上图是一种生成的应用于车辆的对抗伪装,它们看起来像一个涂装上的笑脸装饰,看起来没什么问题,但却会引起深度神经网络模型分类或者识别错误。如果这种车辆出现在自动驾驶的路段中,那么毫无疑问会导致交通危险事件。此外,这种纹理还可能被不法分子用于恐怖袭击等,这需要我们关注和警惕。

来自北京航空航天大学的刘祥龙教授团队的一篇论文为我们展示了对抗伪装在自动驾驶领域的危险性。该论文提出了一种双重注意力抑制攻击算法,通过分散模型注意力,可以生成物理世界中攻击性较强的对抗伪装,能够在黑盒设置下,对数字世界和物理世界的多种模型产生攻击效果(例如 Inception、VGG、ResNet、DenseNet 等分类模型和 Yolo-V5、SSD、Faster-RCNN、Mask-RCNN 等检测模型),在具备强大攻击力的同时,该算法能够规避人类的视觉注意力机制,在视觉上更加自然,具有一定的伪装效果。该论文已被全球计算机视觉顶级会议 CVPR-2021(Oral)接收。



  • 论文地址:https://arxiv.org/abs/2103.01050

  • 代码地址:https://github.com/nlsde-safety-team/DualAttentionAttack


双重注意力抑制攻击框架

该论文提出的双重注意力抑制攻击框架,能够在 3D 仿真环境中生成具有欺骗效应的可迁移对抗伪装,在黑盒设置下,有较好的攻击效果。通过在数字世界和物理世界进行测试和验证,证明了较好的攻击性,同时经过人类实验验证了在视觉欺骗方面的效果。其主要框架如下图所示,一方面,通过引入注意力模块获得模型内在注意力模式,并利用损失函数分散不同模型之间共享的注意力模式来进行对抗攻击。另一方面,为了提升视觉自然程度,本文提出通过保留边缘信息提升上下文的语义相关程度,从而规避了人类视觉自下而上的注意力特征,使得生成的对抗纹理具有欺骗人类的能力。

图 2:双重注意力抑制攻击框架

模型注意力分散

生物学研究指出,刺激特征 (即选择性注意) 在不同的个体中会产生相似的大脑活动模式,卷积神经网络是以生物神经网络为蓝本的。该研究认为 DNNs 或许也拥有同样的特征,即在做出决策时,不同的深度模型可能对同一类对象有相似的注意力模式。基于此,该研究希望通过捕捉这种模型共有的注意力结构来提高对抗伪装的可迁移性,以增强融合样本的泛化攻击能力。

为了实现这一目的,受视觉注意力技术(如 CAM、Grad-Cam、和 Grad-CAM++ 等)的启发,该论文通过引入此类注意力模型来获取模型共享的相似注意图并将其从显著区域强制转移到其他区域,也就是“分散模型的注意力”。因此,模型可能无法聚焦于目标对象,从而做出错误的预测。

给定一个 3D 真实对象(M,T),待优化对抗纹理张量 Tadv,和指定的标签 y,则一个对抗样本 I_adv 可以表示为:


其中,R 是一个渲染器,c 代表环境参数。与之对应的注意力图 S^y 为:


其中,注意力模块:


在得到注意力图后,研究者希望通过损失函数约束伪装纹理变化,使得注意力图中的显著区域能够趋于分散。直观上,注意力图的像素值代表该位置像素对模型预测值的贡献,为了减少显著区域的注意力权重和分散模型对该区域的关注,研究者利用联通图思想来设计损失函数。在某一张注意力图中,该研究将注意力权重大于阈值的区域看作是连通区域。因此该研究考虑了以下问题:(1)将联通区域分割为子联通区域,减少注意力区域的完整性;(2)减少每个子联通区域中的节点(像素点)的注意力权重,进而该研究提出的注意力分散损失如下:


人类注意力规避

为了克服复杂环境带来的影响,大部分物理攻击方法生成的对抗扰动量级较大,往往形成明显不自然的畸变。由于人类自底向上的视觉注意力机制往往会使得个体更容易关注到此类可疑的畸变,不利于物理世界对抗样本的隐藏和欺骗。因此该论文提出了视觉注意力规避以使得生成的对抗纹理更加自然,具有更好的伪装性。

直觉上,研究者期望生成的对抗伪装与被攻击的上下文具有相近的视觉语义(例如,汽车上美丽的涂装比无意义的畸变更容易被人类感知接受)。已有研究表明,人类在做出判断时会更注意形状信息,因此,我们通过更好地保留种子内容补丁的形状来进一步提高与人类注意力的相关性。给定种子内容补丁 P0,通过边缘提取器Ф将种子内容补丁 P0 转换为轮廓补丁 Pedge,其中 Pedge=Ф(P0),然后获取对应的种子纹理张量 T0 和掩码张量 E,人类注意力规避损失为:


为了进一步提高对抗伪装的自然程度,论文还引入了平滑损失来约束相邻像素之间的变化差值,对于一个渲染好的对抗样本 I_adv,其平滑损失为:


综上所述,总的优化目标为:

整个框架的训练流程如下图:


实验结果

数字世界攻击

该论文在 CARLA 仿真环境下采样了 155 个位置,并采用不同参数在每个位置生成了 100 张图片,其中 12500 张作为训练集,3000 张作为测试集。考虑到物理场景中,攻击者对目标模型的了解是非常有限的,因此所有的实验是在黑盒条件下进行的。具体地,在分类任务和检测任务上的实验结果如下表所示:


可以看到,该研究提出的方法在分类任务和检测任务上都表现出较强的攻击能力。

物理世界攻击

在物理攻击实验中,由于实验条件的限制,研究者购买了一些玩具汽车,并通过分别打印对抗纹理的并贴片的方式实现物理攻击。在实验中,研究者从多个角度和距离拍摄了 144 张图片,并用四种模型进行了实验,其结果如下表所示:


由上表可知,该研究提出的双重注意力抑制攻击(DAS)显示出了良好的可迁移性和攻击能力,明显优于比较基线。不过,值得注意的是,Yolo-V5 在物理攻击实验中展现出了惊人的鲁棒性和识别能力,但该研究的方法依然对其识别造成了比对比方法更大的影响。

模型注意力分析

除了进行攻击能力验证之外,该研究还进行了模型注意力的分析以验证其假设。从下图的分析可以看到,虽然不同模型的结构不同,但是其注意力图具有比较高的相似性,对注意力图进行的 SSIM 分析支撑了该研究的观点。


而在对同一模型的不同类别进行注意力分析时,模型的关注点也有所变化。


此外,该研究对经过攻击前后的样本同样进行了注意力图分析,也体现了所提方法的合理性(分散模型注意力)。


人类实验

为了验证该研究所提方法生成的对抗纹理的自然程度,该研究进行了人类实验。通过众包平台,该研究的方法在两个任务上都取得了更好的分数。


展望

人工智能技术的进步给社会发展带来了巨大的便利,但随着近年来对抗样本的研究,人们越来越意识到人工智能安全的重大意义。当前的种种工作都证明了目前的人工智能应用可能并没有我们想象的可靠,人工智能安全相关的研究和标准亟待进一步推进和落实。本篇论文提出的双重注意力抑制攻击方法,从攻击者的角度向人工智能应用提出了尖锐的质疑,如何在发展人工智能技术的同时保证其安全可靠可控是我们正面对的极大挑战和高危风险,避免人工智能应用产生危害也需要政策制定者的重视和关切。我们相信,未来是人工智能的时代,但如何更快、更稳、更好的走进它,需要我们一起给出答案。

理论CVPR注意力机制北京航空航天大学
相关数据
权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

VGG技术

2014年,牛津大学提出了另一种深度卷积网络VGG-Net,它相比于AlexNet有更小的卷积核和更深的层级。AlexNet前面几层用了11×11和5×5的卷积核以在图像上获取更大的感受野,而VGG采用更小的卷积核与更深的网络提升参数效率。VGG-Net 的泛化性能较好,常用于图像特征的抽取目标检测候选框生成等。VGG最大的问题就在于参数数量,VGG-19基本上是参数量最多的卷积网络架构。VGG-Net的参数主要出现在后面两个全连接层,每一层都有4096个神经元,可想而至这之间的参数会有多么庞大。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

SSD技术

一种计算机视觉模型。论文发表于 2015 年(Wei Liu et al.)

生物神经网络技术

生物神经网络(Biological Neural Networks)一般指生物的大脑神经元,细胞,触点等组成的网络,用于产生生物的意识,帮助生物进行思考和行动

损失函数技术

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学等领域,损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集(或特征)的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的,这让「神经网络在执行预测任务时可以更多关注输入中的相关部分,更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时,源句子中仅有少部分是相关的;因此,可以应用一个基于内容的注意力机制来根据源句子动态地生成一个(加权的)语境向量(context vector), 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数,这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在 维空间内,有 个分量的一种量,其中每个分量都是坐标的函数,而在坐标变换时,这些分量也依照某些规则作线性变换。称为该张量的秩或阶(与矩阵的秩和阶均无关系)。 在数学里,张量是一种几何实体,或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达,记作标量的数组,但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中,表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了,它们都是二阶张量,对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

卷积神经网络技术

卷积神经网路(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据,它可以被认为是以一定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

对抗样本技术

对抗样本是一类被设计来混淆机器学习器的样本,它们看上去与真实样本的几乎相同(无法用肉眼分辨),但其中噪声的加入却会导致机器学习模型做出错误的分类判断。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

动量技术

优化器的一种,是模拟物理里动量的概念,其在相关方向可以加速SGD,抑制振荡,从而加快收敛

深度神经网络技术

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

推荐文章
暂无评论
暂无评论~