Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

冯雪璐作者赵辰霞 排版王新凯编审

图片一缩放,AI就把熊猫“认”成长臂猿了,这么傻的AI该如何保护?

在实际生活中,我们通常不会期望一个图像在经过缩小后变成另外一个模样完全不同的图像,但这样奇怪的事情可能会在人工智能领域发生。

来自德国 Braunschweig 技术大学的研究人员通过大量实验已经证明,仔细修改数码照片的像素值可以使照片在缩小尺寸后变成与之前完全不同的图像,而这些对图像的修改操作在人工智能算法领域的影响值得被广泛关注。

图像缩放技术在人工智能研究领域有着十分重要的地位,但是也存在一些挑战。其主要的问题就是,恶意攻击者可以利用这种图像缩放技术,对用于人脸识别目标检测计算机视觉方向的机器学习模型发起对抗性攻击。

其中,对抗性机器学习是一种对数据进行操作的技术,它能在不被人类察觉的情况下改变人工智能算法的行为,而创建对抗性的机器学习示例是一个反复试验的过程。创建对抗性示例包括对图像像素进行细微的调整,再通过 AI 算法重新运行该图像,以查看图像置信度的变化。通过适当调整后,可以自动化创建一个噪音映射(noise map)来降低一个类的置信度,而提高另一个类的置信度。

在今年 Usenix 安全研讨会上发表的一篇论文中,TU Braunschweig 的研究人员就针对机器学习系统的分级和防止对抗性图像缩放攻击进行了深入的回顾。他们的发现不断提醒我们,AI 算法许多隐藏的方面和威胁还未被发现,导致这些影响在我们的日常生活中正变得越来越突出。

对抗图像缩放

当在许多实例上训练时,机器学习模型创建不同类之间相似性程度的数学表达。例如,如果你训练一个机器学习算法来区分熊猫和长臂猿,它就会尝试创建一个统计模型来区分新图像中的像素是更像熊猫还是长臂猿。

实际上,这些人工智能算法学习区分不同物体的方式与人类视觉的工作方式不同。大多数对抗性攻击利用这种差异,在改变机器学习系统输出的同时,进行人类肉眼无法察觉的细微调整。

例如,当你让一个人描述他是如何从图片中发现熊猫的,他可能会寻找一些目标的身体特征,比如眼睛周围的黑色毛发,黑白相间的皮毛以及体型大小。他可能还会给出其他的背景,比如他希望看到熊猫在什么样的栖息地,会摆出什么样的动作姿势等等。

而对于人工神经网络来说,只要根据公式,通过计算机程序运行图像的像素值提供正确的答案,就确信所看到的图像确实是一只熊猫。换句话说,通过正确地调整图像中的像素值,你也可以让 AI 误以为它看到的不是熊猫。

其中的细节在于,研究人员在图像上添加了一层人眼几乎觉察不到的噪声。



当新的像素值通过人工神经网络时,会产生从长臂猿的图像中所期望的结果。而在人眼看来,左右两幅图像似乎是同一只熊猫。

研究人员在他们的论文中写道:“尽管大量研究都在研究针对学习算法的攻击,但目前为止,几乎没有人关注机器学习预处理中的漏洞。”但是,当经典的对抗性攻击利用人工智能算法内部工作的特性时,图像缩放攻击就集中在机器学习流水线的预处理阶段。

图像缩放攻击

对于输入数据来说,每一个应用于图像处理方向的机器学习算法都有一系列的要求。这些要求主要包括图像的特定大小,但其他因素(如颜色通道的数量和颜色深度)也可能会被涉及到。

无论你是在训练一个机器学习模型,还是用该模型进行推理(分类、目标检测等),都需要对输入图像进行预处理以满足 AI 的输入要求。根据以上提及的所有需求,我们可以假定预处理过程通常需要将图像缩放到合适的大小。并且,就像我们通常在软件中遇到的情况一样,当黑客知道一个程序(或者至少是程序的一部分)工作过程的时候,他们会试图找到方法修改程序来谋取私利。而这就是图像缩放攻击发挥作用的地方。

图像缩放攻击的关键思想是在预处理阶段通过调整图像像素大小来改变输入图像的外观。事实上,机器学习深度学习大多都使用一些众所周知且有文档记载的缩放算法。这些算法中的大多数(比如最近邻插值和双线性插值)都和 Photoshop 等用于图像编辑的应用程序使用的算法一样,这使得攻击者更容易设计出同时适用于多种机器学习算法的漏洞。

当图像被缩小时,进行缩放后的图像的每个像素都是源图像中像素块值的组合,其中执行这种转换的数学函数称为“核函数”。然而,并不是源像素块中的所有像素在核函数中的贡献是相等的(如果相等会使得调整后的图像会变得太模糊)。因此,在大多数算法中,核函数将更大的权重赋给更接近源像素块中间的像素。

在对抗性预处理中,攻击者获取一幅图像,并在正确的位置对像素值进行适当调整。当图像经过缩放算法后,它会变成目标图像。最后,再用机器学习算法处理修改后的图像。基本上,人眼看到的是源图像,而机器学习模型看到的是目标图像。

当攻击一个机器学习模型时,攻击者必须知道所使用的大小调整算法的类型和核函数的核大小。由于大多数机器学习库中只有很少的缩放选项,因此研究人员通过实验发现攻击者只需尝试几次就能得到正确的参数设置。

在 TechTalks 的评论中,IBM Research 的首席科学家 Chen Pin-Yu 将图像缩放与隐写术(steganography)进行了比较,后者将消息(这里是缩小后的图像)嵌入源图像中,只能采用缩小后的算法进行解码。

写过几篇关于对抗性机器学习论文的 Chen 说:“我很好奇这种攻击是否也与图像缩放算法无关。但基于通用摄动的成功,我认为通用图像缩放攻击也是可行的。”

图像缩放攻击示例

对于机器学习算法方向的图像缩放攻击主要有两种情况。其中一种攻击类型是创建在经过训练后的机器学习算法中产生错误预测的对抗性实例。但研究人员在他们的论文中指出,或许“数据中毒”攻击才是图像缩放的更大威胁。

而“数据中毒”是一种对抗性攻击,在当机器学习模型调整其参数到图像的成千上万像素这一训练阶段时发生。如果攻击者能够访问并篡改训练中使用的数据集,就能够让机器学习模型在对抗性示例上进行训练。

示例一:

假设有一家公司正在开发一种面部识别系统,以控制在处理敏感材料区域的访问权限。为了做到这一点,该公司的工程师们正在训练一个卷积神经网络来检测授权员工的脸部。

当团队正在收集训练数据集时,一个有意破坏的员工偷偷地将一些篡改过的图像隐藏在未经授权的员工的面部照片中。在训练了神经网络之后,工程师们为了确保系统能正确地检测到被授权的员工,对其进行测试。他们还会检查一些随机图像,以确保 AI 算法不会将访问权限错误地授予给非授权人员。

但这就存在一个问题,只有他们明确地检查对抗性攻击中被攻击者脸部的机器学习模型,他们才会发现被恶意篡改的数据。

示例二:

假设你正在训练一个神经网络来识别停车标志的图像,以便以后在自动驾驶汽车时使用。

恶意攻击者可以破坏训练数据,使其包含经过修补的停车标志图像,这些图像被称为“对抗性补丁”。经过训练后,神经网络把该补丁上的所有标志与目标联系起来。

这样会导致自动驾驶汽车把一些随机的标志当作停车标志,或者更糟的是,进行错误分类并绕过真正的停车标志。

保护机器学习模型

TU Braunschweig 的研究人员在其论文中强调,因为大多数机器学习模型使用的是少数流行的图像缩放算法之一,所以图像缩放攻击对 AI 来说是一个特别严重的威胁。

这使得图像缩放攻击“与模型无关”,意思就是它们对目标人工智能算法类型不敏感,而单一的攻击方案可以应用于整个范围的机器学习算法。相比之下,经典的对抗性例子是为每种机器学习模型设计的,如果目标模型发生轻微变化,攻击极有可能不再有效。

Chen 在论文中说道:“与白盒对抗性攻击相比,图像缩放攻击需要更少的信息(只需要知道目标系统使用了何种缩放算法),所以从攻击者的角度来看,它是一种更实用的攻击。”“然而,它仍然没有不需要目标机器学习模型信息的黑盒对抗性攻击实用。”其中,黑盒对抗性攻击是一种通过观察机器学习模型的输出值来产生对抗性扰动的高级技术。

Chen 接着在文章中承认,图像缩放攻击确实是一种生成对抗性实例的有效方法。但他补充道,缩放操作并不是都出现在每个机器学习系统中。他说:“图像缩放攻击仅限于基于图像且具有缩放操作的模型,但是在没有缩放操作和其他数据模式的图像模型中也可能存在对抗性实例。”对抗性机器学习也适用于音频和文本数据。

从积极的角度来看,对抗性图像缩放的单一性使得更好地检查攻击和开发保护机器学习系统的新技术成为可能。

TU Braunschweig 的研究人员在文中写道:“由于机器学习模型的复杂性,针对学习算法的攻击仍然难以分析,但定义坚挺的缩放算法结构使得我们能更全面地分析缩放攻击并开发有效的防御技术。”在他们的论文中,研究人员提供了几种阻挠对抗性图像缩放攻击的方法,包括平滑核函数权重缩放算法以及可以消除篡改像素值影响的图像重建过滤器。

“我们的工作为机器学习中预处理的安全性提供了新的见解,”研究人员写道。“我们相信,有必要进行深入的研究工作,从而确定和排除数据处理不同阶段的漏洞,同时加强以学习为基础的系统的安全性能。”让机器学习算法对对抗性攻击具有鲁棒性已成为近年来一个较为活跃的研究领域。对抗性实例除了用于攻击之外也被用于模型训练,以增强模型的健壮性。因此,为了进行对抗性模型训练,不同类型的对抗性攻击实施是有益的。

参考文献:
https://thenextweb.com/neural/2020/08/13/image-scaling-attacks-highlight-dangers-of-adversarial-machine-learning-syndication/
https://bdtechtalks.com/2020/07/15/machine-learning-adversarial-examples/
AMiner学术头条
AMiner学术头条

AMiner平台由清华大学计算机系研发,拥有我国完全自主知识产权。系统2006年上线,吸引了全球220个国家/地区800多万独立IP访问,数据下载量230万次,年度访问量1000万,成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

https://www.aminer.cn/
专栏二维码
产业图像缩放机器学习AI
相关数据
IBM机构

是美国一家跨国科技公司及咨询公司,总部位于纽约州阿蒙克市。IBM主要客户是政府和企业。IBM生产并销售计算机硬件及软件,并且为系统架构和网络托管提供咨询服务。截止2013年,IBM已在全球拥有12个研究实验室和大量的软件开发基地。IBM虽然是一家商业公司,但在材料、化学、物理等科学领域却也有很高的成就,利用这些学术研究为基础,发明很多产品。比较有名的IBM发明的产品包括硬盘、自动柜员机、通用产品代码、SQL、关系数据库管理系统、DRAM及沃森。

https://www.ibm.com/us-en/
相关技术
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

图像重建技术

通过物体外部测量的数据,经数字处理获得三维物体的形状信息的技术。图像重建技术开始是在放射医疗设备中应用,显示人体各部分的图像,即计算机断层摄影技术,简称CT技术,后逐渐在许多领域获得应用。主要有投影重建、明暗恢复形状、立体视觉重建和激光测距重建。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

核函数技术

核函数包括线性核函数、多项式核函数、高斯核函数等,其中高斯核函数最常用,可以将数据映射到无穷维,也叫做径向基函数(Radial Basis Function 简称 RBF),是某种沿径向对称的标量函数。最常应用于SVM支持向量机中

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

图像缩放技术

人脸识别技术

广义的人脸识别实际包括构建人脸识别系统的一系列相关技术,包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。 人脸识别是一项热门的计算机技术研究领域,它属于生物特征识别技术,是对生物体(一般特指人)本身的生物特征来区分生物体个体。

自动驾驶汽车技术

自动驾驶汽车,又称为无人驾驶汽车、电脑驾驶汽车或轮式移动机器人,是自动化载具的一种,具有传统汽车的运输能力。作为自动化载具,自动驾驶汽车不需要人为操作即能感测其环境及导航。

统计模型技术

统计模型[stochasticmodel;statisticmodel;probabilitymodel]指以概率论为基础,采用数学统计方法建立的模型。有些过程无法用理论分析方法导出其模型,但可通过试验测定数据,经过数理统计法求得各变量之间的函数关系,称为统计模型。常用的数理统计分析方法有最大事后概率估算法、最大似然率辨识法等。常用的统计模型有一般线性模型、广义线性模型和混合模型。统计模型的意义在对大量随机事件的规律性做推断时仍然具有统计性,因而称为统计推断。常用的统计模型软件有SPSS、SAS、Stata、SPLM、Epi-Info、Statistica等。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

卷积神经网络技术

卷积神经网路(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据,它可以被认为是以一定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

映射技术

映射指的是具有某种特殊结构的函数,或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为:两个非空集合A与B间存在着对应关系f,而且对于A中的每一个元素x,B中总有有唯一的一个元素y与它对应,就这种对应为从A到B的映射,记作f:A→B。其中,y称为元素x在映射f下的象,记作:y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域,记作f(A)。同样的,在机器学习中,映射就是输入与输出之间的对应关系。

插值技术

数学的数值分析领域中,内插或称插值(英语:interpolation)是一种通过已知的、离散的数据点,在范围内推求新数据点的过程或方法。求解科学和工程的问题时,通常有许多数据点借由采样、实验等方法获得,这些数据可能代表了有限个数值函数,其中自变量的值。而根据这些数据,我们往往希望得到一个连续的函数(也就是曲线);或者更密集的离散方程与已知数据互相吻合,这个过程叫做拟合。

噪音技术

噪音是一个随机误差或观测变量的方差。在拟合数据的过程中,我们常见的公式$y=f(x)+\epsilon$中$\epsilon$即为噪音。 数据通常包含噪音,错误,例外或不确定性,或者不完整。 错误和噪音可能会混淆数据挖掘过程,从而导致错误模式的衍生。去除噪音是数据挖掘(data mining)或知识发现(Knowledge Discovery in Database,KDD)的一个重要步骤。

双线性插值技术

双线性插值,又称为双线性内插。在数学上,双线性插值是有两个变量的插值函数的线性插值扩展,其核心思想是在两个方向分别进行一次线性插值。 双线性插值作为数值分析中的一种插值算法,广泛应用在信号处理,数字图像和视频处理等方面。

图像处理技术

图像处理是指对图像进行分析、加工和处理,使其满足视觉、心理或其他要求的技术。 图像处理是信号处理在图像领域上的一个应用。 目前大多数的图像均是以数字形式存储,因而图像处理很多情况下指数字图像处理。

目标检测技术

一般目标检测(generic object detection)的目标是根据大量预定义的类别在自然图像中确定目标实例的位置,这是计算机视觉领域最基本和最有挑战性的问题之一。近些年兴起的深度学习技术是一种可从数据中直接学习特征表示的强大方法,并已经为一般目标检测领域带来了显著的突破性进展。

生成对抗技术

生成对抗是训练生成对抗网络时,两个神经网络相互博弈的过程。两个网络相互对抗、不断调整参数,最终目的是使判别网络无法判断生成网络的输出结果是否真实。

推荐文章
暂无评论
暂无评论~