孙裕道作者北京邮电大学博士生学校GAN图像生成、情绪对抗样本生成研究方向

AIRAVATA:量化机器学习中的参数泄露

论文标题:Quantifying (Hyper) Parameter Leakage in Machine Learning

论文链接:https://arxiv.org/abs/1910.14409

引言

AI 模型广泛应用于各种多媒体应用中,在云计算上作为一种按需查询付费的黑盒服务提供给用户。这样的黑盒模型对对手具有商业价值,所以会对专有模型进行反向工程,从而侵犯模型隐私和知识产权。对手会通过侧信道泄漏提取模型架构或参数,在合成数据集上训练重构架构来窃取目标模型的功能。

核心思想

本文提出了一种新的概率框架 AIRAVATA 来估计模型抽取攻击中的信息泄漏。该框架抓住了由于实验的不确定性提取精确的目标模型是困难的事实,同时推断模型的参数和随机性质的训练窃取目标模型的功能。

本文使用贝叶斯网络来捕捉在基于主观概率概念的各种提取攻击下目标模型估计的不确定性。该论文提供了一个实用的工具来推断有关提取黑盒模型的可操作细节,并帮助确定最佳攻击组合,从而最大限度地从目标模型中提取(或泄漏)知识。

AIRAVATA框架

本文所提出的 AIRAVATA 框架将各种攻击和推断的模型属性表示为具有因果关系的随机变量。如果对手选择了攻击,那么攻击变量与贝叶斯网络中推断出的相应属性之间存在联系。AIRAVATA 框架的有效性分析在现实中具有一定的适用性。

下图显示了 AIRVATA 框架的细节,攻击节点位于顶层,然后是推断属性,最后是对手提取的目标知识。模型知识(最后一层)是假设变量,其值与我们的问题有关。攻击节点(顶层)是被观测到的信息变量,并影响假设变量的概率分布。信息变量通过代表推断属性的中间变量(中间层)与假设变量相连。

3.1 攻击变量

AIRAVATA 框架下的模型根据攻击需求(对手模型)和推断属性的相似性将攻击分成不同的随机变量。

3.1.1 StealFunction

“StealFunction” 节点捕获这些攻击,并能够推断学习目标中使用的参数以及估计模型参数的值。给定大量的输入输出对 ,根据已知变量求解未知变量的超定方程组,从目标函数中估计正则化参数,而且所有的攻击在使用主动学习或对合成数据的模型进行再训练属于功能窃取范畴。

3.1.2 ML vs ML

机器学习模型可以训练成根据输入输出预测模型的属性。由于攻击使用 ML 模型,因此在正确预测模型属性时存在不确定性和误差。这些攻击被抽象到贝叶斯网络中的 MLvsML 节点中,并推断出层的数目、激活的类型、每层的参数数目和层的类型。

3.1.3 TimingSC

对于不了解目标模型的弱对手,可以通过计算网络的总执行时间来推断层数。该攻击基于在一个层中的所有节点被并行计算的思想,而所有层都是按顺序计算的,因此总的执行时间与层的数目密切相关。在该框架中,这种攻击被捕获在节点 “TimingSC” 中,并且只推断神经网络的层数。

3.1.4 HardwareSC

对硬件进行物理访问的对手可以在模型在硬件上执行期间监视内存访问模式(内存侧通道),并利用进程之间的共享资源提取进程详细信息(缓存侧通道)。

其他硬件详细信息(如硬件性能计数器、缓存未命中和数据流)显示了重要的内部模型详细信息。所有这些攻击抽象为“硬件”节点,有助于推断层数、激活类型、每层参数数和层类型。这与 “MLvsML” 相似,但是由于更强的对手模型,推断出的信息更细粒度和更准确。

3.1.5 PowerSC

在硬件上执行神经网络的过程中,一个强大的对手可以访问目标硬件的物理地址,可以监视消耗的功率来提取有关应用程序的信息。给定功耗轨迹,攻击者使用差分功率分析、相关功率分析和水平功率分析等算法推断目标黑盒模型细节。

这在框架内被建模为 “PowerSC” 节点,并在成功执行后,帮助对手推断每层中的参数数目、参数值、总层数和激活函数的类型。

3.2 推断模型属性

神经网络有一个很大的参数空间,每个参数可以取不同范围的可能值。神经网络的结构细节在决定性能方面起着重要的作用。

  • ObjHyperParam:训练神经网络目标函数需要学习速率和动量等多个参数来控制参数的更新,而权值衰减则可以提高泛化能力。损失函数的选择和优化技术决定了模型的性能。

  • Depth:神经网络越深,性能就越高,因为 ML 社区一直致力于将神经网络扩展到大量的层。

  • Nodes:每层参数的个数和模型深度影响神经网络的复杂度,进而影响网络的性能。

  • Activation:激活函数的类型 ReLU、Sigmoid 或 Tanh 将每个节点的个中间矩阵向量计算映射到一个输出值范围。

  • LayerType:卷积层、maxpool 层或全连通层在决定计算复杂度和性能方面起着重要作用。

3.3 提取模型知识

对于不同的攻击,所提出的模型需要捕获的知识提取程度不同。模型属性为 ,其中 ,攻击变量为 ,其中 。目的是推断假设随机变量,即知识提取度 K。最终的知识估计  是给定了了攻击的手段  情况下,假设随机变量  的概率。

在选择不同的攻击变量时,根据影响或关联的属性数  将最终提取的知识分为三类。

这些是在推断目标模型的不同属性时,根据搜索空间范围而选择的主观阈值。攻击变量反过来影响中间信息变量(模型属性)的概率分布,影响“模型知识”的最终概率分布

通过变量消去法进行推理后估计出的假设变量的合成概率,来评估不同的攻击组合,可以利用所获得的知识来概率推断模型信息泄漏。

实验结果

4.1 Adversary 1

假设贝叶斯网络模型捕捉了随机变量之间的联合概率分布,根据提取到的知识的可信度,对模型进行查询,以判断不同攻击的有效性。在对手 1 的情况下,假设对手很弱,并且只能对目标模型的远程 API 访问。

对手可以向目标模型发送查询(输入图像)并得到相应的输出预测。对手只能依靠远程执行攻击,包括:TimingSC、MLvsML 和 StealFunction 攻击,这些攻击可以根据各自的威胁模型进行远程部署。


对应于对手 1 的远程黑盒设置提取的知识概率如上表所示,与 MLvsML 相比,TimingSC 和 tealFunction 攻击所推断的属性更少,相应的提取“低”知识的置信度分别为 0.7681 和 0.7272。而对于像 MLvsML 这样的强黑盒攻击,所提取的知识被归类为“中等”,其信念得分为 0.7983。

StealFunction 攻击通常是在推断目标模型属性以获得近似体系结构之后执行的。对于第 2 行(表 1)中的单个攻击的具体情况,考虑的是由对手选择的随机架构。

4.2 Adversary 2

在对手 2 中假设一个更强的对手可以物理访问执行神经网络的硬件。然而,对手没有 API 访问权限来查询模型,因此可以分析基于边信道的参数推断攻击。对手可以通过监视硬件在执行神经网络期间消耗的功率来执行基于硬件的侧信道攻击,例如缓存侧信道、存储器访问模式和功率侧信道。

与独立执行攻击相比,使用 HardwareSC 和 PowerSC 相结合的信念改善并不显著。从这一点可以推断,这两种攻击在从目标模型中提取知识方面同样强大。

然而,结合这两种攻击,会发现对“高”知识的总体信念从 0.1024 增加到 0.1166。与 HardwareSC 和 MLvsML 攻击相比,PowerSC 对于“中等”知识提取(0.8181 到 0.7983)有更高的信念。

4.3 Adversary 3

第三个设置是 AIRAVATA 框架的一部分,对手有物理访问硬件和远程 API 查询模型。这个假设的设置允许将来自上述两个设置的攻击结合起来,以估计提取目标模型知识的总体信念。

如上表所示,将不同的攻击组合在一起,对目标模型提取“高”知识的最大置信度为 0.7354。通过选择其他攻击的仔细组合,可以推断出相同的知识水平。

参考文献

[1] M. S. Alvim, K. Chatzikokolakis, C. Palamidessi, and G. Smith, “Measuring information leakage using generalized gain functions,” in 2012 IEEE 25th Computer Security Foundations Symposium, June 2012, pp.265–279. 

[2] X. An, D. Jutla, and N. Cercone, “Privacy intrusion detection using dynamic bayesian networks,” in Proceedings of the 8th International Conference on Electronic Commerce. 

[3] E. T. Axelrad, P . J. Sticha, O. Brdiczka, and J. Shen, “A bayesian network model for predicting insider threats,” in 2013 IEEE Security and Privacy Workshops, May 2013, pp. 82–89. 

[4] L. Batina, S. Bhasin, D. Jap, and S. Picek, “Csi neural network: Using side-channels to recover your artificial neural network information,” Cryptology ePrint Archive, Report 2018/477, 2018, https://eprint.iacr.org/2018/477.

PaperWeekly
PaperWeekly

推荐、解读、讨论和报道人工智能前沿论文成果的学术平台。

理论AIRAVATA机器学习
相关数据
激活函数技术

在 计算网络中, 一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。标准的计算机芯片电路可以看作是根据输入得到"开"(1)或"关"(0)输出的数字网络激活函数。这与神经网络中的线性感知机的行为类似。 一种函数(例如 ReLU 或 S 型函数),用于对上一层的所有输入求加权和,然后生成一个输出值(通常为非线性值),并将其传递给下一层。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

重构技术

代码重构(英语:Code refactoring)指对软件代码做任何更动以增加可读性或者简化结构而不影响输出结果。 软件重构需要借助工具完成,重构工具能够修改代码同时修改所有引用该代码的地方。在极限编程的方法学中,重构需要单元测试来支持。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

概率分布技术

概率分布(probability distribution)或简称分布,是概率论的一个概念。广义地,它指称随机变量的概率性质--当我们说概率空间中的两个随机变量具有同样的分布(或同分布)时,我们是无法用概率来区别它们的。

损失函数技术

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学等领域,损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

超参数技术

在机器学习中,超参数是在学习过程开始之前设置其值的参数。 相反,其他参数的值是通过训练得出的。 不同的模型训练算法需要不同的超参数,一些简单的算法(如普通最小二乘回归)不需要。 给定这些超参数,训练算法从数据中学习参数。相同种类的机器学习模型可能需要不同的超参数来适应不同的数据模式,并且必须对其进行调整以便模型能够最优地解决机器学习问题。 在实际应用中一般需要对超参数进行优化,以找到一个超参数元组(tuple),由这些超参数元组形成一个最优化模型,该模型可以将在给定的独立数据上预定义的损失函数最小化。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

云计算技术

云计算(英语:cloud computing),是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机各种终端和其他设备。

映射技术

映射指的是具有某种特殊结构的函数,或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为:两个非空集合A与B间存在着对应关系f,而且对于A中的每一个元素x,B中总有有唯一的一个元素y与它对应,就这种对应为从A到B的映射,记作f:A→B。其中,y称为元素x在映射f下的象,记作:y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域,记作f(A)。同样的,在机器学习中,映射就是输入与输出之间的对应关系。

目标函数技术

目标函数f(x)就是用设计变量来表示的所追求的目标形式,所以目标函数就是设计变量的函数,是一个标量。从工程意义讲,目标函数是系统的性能标准,比如,一个结构的最轻重量、最低造价、最合理形式;一件产品的最短生产时间、最小能量消耗;一个实验的最佳配方等等,建立目标函数的过程就是寻找设计变量与目标的关系的过程,目标函数和设计变量的关系可用曲线、曲面或超曲面表示。

查询技术

一般来说,查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域,查询指的是数据库和信息系统对信息检索的精确要求

正则化技术

当模型的复杂度增大时,训练误差会逐渐减小并趋向于0;而测试误差会先减小,达到最小值后又增大。当选择的模型复杂度过大时,过拟合现象就会发生。这样,在学习时就要防止过拟合。进行最优模型的选择,即选择复杂度适当的模型,以达到使测试误差最小的学习目的。

贝叶斯网络技术

贝叶斯网络(Bayesian network),又称信念网络或是有向无环图模型,是一种概率图型模型。例如,贝叶斯网络可以代表疾病和症状之间的概率关系。 鉴于症状,网络可用于计算各种疾病存在的概率。

动量技术

优化器的一种,是模拟物理里动量的概念,其在相关方向可以加速SGD,抑制振荡,从而加快收敛

主动学习技术

主动学习是半监督机器学习的一个特例,其中学习算法能够交互式地查询用户(或其他信息源)以在新的数据点处获得期望的输出。 在统计学文献中,有时也称为最佳实验设计。

推荐文章
暂无评论
暂无评论~