清华大学刘世霞“可解释机器学习的可视化分析”(附PPT)

今天跟大家分享的是清华大学刘世霞老师的演讲PPT:《Visual Analytics for Explainable Machine Learning》

刘世霞老师在此次报告中,主要为大家介绍了一些基于可视分析的可解释机器学习方面的工作(本文将以第一人称陈述报告内容)。

在我们的日常工作和生活中,机器学习无处不在,典型的例子包括搜索、推荐和欺诈检测,机器学习在这些任务中扮演着非常重要的角色。

为了让我们能够更好地了解机器学习模型的工作机制,并根据需要使用它们。为此,DARPA启动了可解释的人工智能项目。

Xai包括三个部分,我们的工作重点是基于可视分析技术的可解释界面,将最先进的HCI与新的原则、战略和技术相结合,以产生有效的解释。

DNNs已经发展成为许多人工智能应用中的最先进技术,然而,研究人员发现,DNNs通常容易受到恶意生成的对抗性示例的攻击,这些示例旨在误导DNNs做出错误的预测。

这种现象给将DNNs应用于安全和安全关键应用(如无人驾驶汽车、人脸识别ATM)带来了高风险。

在这项工作中,我们提供了一个可视化的分析工具来解释为什么会出现这样的错误分类。

[I]首先介绍如何抽取数据通路。

[I]抽取数据通路的关键在于,求出重要的神经元

现在,研究者们普遍将响应最大的神经元作为数据通路,但是,当图片中出现容易识别的次要物体时,会出现错误。

产生这个错误的原因有两个:

第一,神经元之间存在复杂的关系;

第二,响应往往通过一个复杂的非线性函数才能得到最终的判决结果。

为了解决这个问题,这里我们选取真正能够影响最终判决结果的神经元作为重要的神经元

换句话说,我们通过选取尽量少的神经元,达到保持原判决结果不变的目的。

从而将这个问题建模为一个子集选取问题。

接下来,我介绍一下关于模型工作机理解释的相关工作:

深度生成模型(Deep Generative Models)

上面有一个隐含的变量,用 Z 表示;中间会经过一个深度神经网络,你可以根据你的任务选择不同的神经网络、不同的深度、不同的结构;下面是我们观察到的数据 X。这个场景有很多,比如对抗生成网络,可以生成高维的自然图片。实际上,Z 可以是非常随机的噪声,通过神经网络可以生成非常高质量的图片。

在这种框架下,我们可以做很多。比如可以给隐含变量设定某些结构信息,比如生成人脸时,有一些变量指代人的姿态,另外一些变量可能描述其他的特征,这两个放在一起我们就可以构建这样一个深度生成模型

它同一列有同一姿态,可以变化其它变量来生成不同的图片。现在是非常受欢迎、非常强大的一种模型了。

与CNN不同的是:x和z都是随机变量,而CNN中都是实数


目前,大多数深度学习模型都是数据驱动的方法,而知识驱动的观点则相对较少受到关注。从这个意义上说,一个开放的研究机会是通过交互式可视化将人类专家知识和深度学习技术相结合。 

许多深度学习模型的培训非常耗时(从数小时到数天的计算),需要使用渐进的可视化分析技术将专家纳入分析循环。

深度学习模型通常容易受到对抗性干扰的影响,在这种情况下,恶意生成对抗性示例,以误导模型输出错误的预测。对抗性的例子被修改得很小,因此在许多情况下,这些修改可能非常细微,以至于人类观察者根本就无法注意到修改,但是模型仍然出错。

这些对抗性的例子经常被用来攻击深度学习模型。在这方面,在实际应用中,保持深度学习模型的健壮性至关重要。

因此,一个可解释的深度学习的研究机会是将人类的知识结合起来,以提高深度学习模型的鲁棒性。

AMiner学术头条
AMiner学术头条

AMiner平台由清华大学计算机系研发,拥有我国完全自主知识产权。系统2006年上线,吸引了全球220个国家/地区800多万独立IP访问,数据下载量230万次,年度访问量1000万,成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

https://www.aminer.cn/
专栏二维码
理论可视化机器学习可解释性刘世霞清华大学
1
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

人脸识别技术

广义的人脸识别实际包括构建人脸识别系统的一系列相关技术,包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。 人脸识别是一项热门的计算机技术研究领域,它属于生物特征识别技术,是对生物体(一般特指人)本身的生物特征来区分生物体个体。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

深度生成模型技术

深度生成模型基本都是以某种方式寻找并表达(多变量)数据的概率分布。有基于无向图模型(马尔可夫模型)的联合概率分布模型,另外就是基于有向图模型(贝叶斯模型)的条件概率分布。前者的模型是构建隐含层(latent)和显示层(visible)的联合概率,然后去采样。基于有向图的则是寻找latent和visible之间的条件概率分布,也就是给定一个随机采样的隐含层,模型可以生成数据。 生成模型的训练是一个非监督过程,输入只需要无标签的数据。除了可以生成数据,还可以用于半监督的学习。比如,先利用大量无标签数据训练好模型,然后利用模型去提取数据特征(即从数据层到隐含层的编码过程),之后用数据特征结合标签去训练最终的网络模型。另一种方法是利用生成模型网络中的参数去初始化监督训练中的网络模型,当然,两个模型需要结构一致。

神经元技术

(人工)神经元是一个类比于生物神经元的数学计算模型,是神经网络的基本组成单元。 对于生物神经网络,每个神经元与其他神经元相连,当它“兴奋”时会向相连的神经元发送化学物质,从而改变这些神经元的电位;神经元的“兴奋”由其电位决定,当它的电位超过一个“阈值”(threshold)便会被激活,亦即“兴奋”。 目前最常见的神经元模型是基于1943年 Warren McCulloch 和 Walter Pitts提出的“M-P 神经元模型”。 在这个模型中,神经元通过带权重的连接接处理来自n个其他神经元的输入信号,其总输入值将与神经元的阈值进行比较,最后通过“激活函数”(activation function)产生神经元的输出。

深度神经网络技术

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

可解释的人工智能技术

一个可以解释的AI(Explainable AI, 简称XAI)或透明的AI(Transparent AI),其行为可以被人类容易理解。它与机器学习中“ 黑匣子 ” 的概念形成鲜明对比,这意味着复杂算法运作的“可解释性”,即使他们的设计者也无法解释人工智能为什么会做出具体决定。 XAI可用于实现社会解释的权利。有些人声称透明度很少是免费提供的,并且在人工智能的“智能”和透明度之间经常存在权衡; 随着AI系统内部复杂性的增加,这些权衡预计会变得更大。解释AI决策的技术挑战有时被称为可解释性问题。另一个考虑因素是信息(信息过载),因此,完全透明可能并不总是可行或甚至不需要。提供的信息量应根据利益相关者与智能系统的交互情况而有所不同。

推荐文章
暂无评论
暂无评论~