可解释性相关算法作为蚂蚁集团提出的“可信AI”技术架构的重要组成部分，已大量应用于蚂蚁集团安全风控的风险识别、欺诈举报审理等场景，取得了一些阶段性的成果。本系列文章，我们将以风控领域具体应用为例，尤其关注领域专家经验和机器学习方法的交互结合，介绍蚂蚁集团特征可解释、图可解释、逻辑可解释等算法方案的探索和落地。
专家点评：
沈超 西安交通大学教授、网络空间安全学院副院长
AI可解释性是可信AI的重要组成部分，已成为人工智能领域的研究热点。可解释性有助于用户理解系统的决策逻辑并建立信任，从而进一步加快AI技术在领域中的可信应用；同时也有助于开发者对AI系统进行优化完善，进一步保障其安全性、可靠性。蚂蚁集团在AI可解释性技术领域不断进行探索，实现了特征可解释、图可解释、逻辑可解释等方法，并将其落地应用于多个具体的安全风控场景，为AI可解释性技术发展与应用提供了更加广阔的思路。
什么是AI可解释
可解释AI或者可解释学习（英文explainable AI，或interpretable AI），在wikipedia上的定义是“这个AI方案的结果能够被人所理解”。但这个定义也并不够完整和完善，在今天我们提及AI可解释性的时候，不仅包括结果的可解释性，经常对它的过程也有可解释要求。此外，怎样才叫做“能够被人所理解”？这本身也缺乏清晰的定义。我们在实践中也确实遇到了很多这方面的挑战，不同的业务方或者不同的客户对所谓AI可解释的要求、定义可以是很不一样的，我们在后文中也会举一些相应的例子。
因此，今天我们讨论AI可解释性的时候，会更多的从“常识”出发，避免在一些细节及定义的问题上过分纠结。
从发展历程上来说，最早与AI可解释性较为相关的工作可能是从上个世纪60年代开始的一些专家系统、规则模型，包括决策树等等，专家们把一些人工理解的部分纳入到模型里来。到本世纪初期AI大发展，开始流行的如集成学习、深度学习的方法，大部分情况下是模型是黑盒的。到2016年左右，可解释机器学习/可解释人工智能这些概念被广泛讨论，大家试图把这个黑盒打开。美国和欧盟等从AI伦理等各方面考虑，更多地开始强调AI可解释性在各行各业使用AI过程中的重要性。近年来我国也陆续发布了一系列法律和行政法规要求确保模型决策的安全可靠、公平公正和决策透明，这些都对AI算法的可解释性提出了要求。
为什么我们会需要AI可解释性，各个领域内的要求可能不一样，有几个跟我们比较相关的原因。
第一是避免黑盒的角度，预防灾难或重大缺陷。比如AI医疗、自动驾驶，如果我们对AI决策的情况不够了解，潜在的问题可能会造成灾难性的影响。
第二是希望在机器做得比人更好的场景，带来新的知识挖掘。比如当AlphaGo走出人类在上千年的围棋历史中没有走出的招法时，我们希望能够更好地学习AI。
第三是合法合规的需要。如上所述，不论是国内还是国际的监管，在这一块都提出了越来越高的要求。同时，AI可解释性也是很多其他AI伦理课题比如AI隐私、公平性等方面的基础。因为如果你都不理解AI为什么这样决策，也就很难判断它是不是会带来公平性上的缺陷或者歧视。
AI可解释性在蚂蚁安全风控场景的应用
从安全场景来说，可解释性是一种刚需。这里列举了一些蚂蚁安全对AI可解释性的应用。比如用户的账户被安全限权导致用户投诉，我们需要对这些服务诉求进行可解释回应；对于监管来说，包括尽职调查，可疑交易报送等义务履行,都有强可解释的要求；在风险运营和风险审理等场景，对证据展示、风险归因、手法挖掘等等也有不同的要求。
一方面，我们希望可解释性能够助力业务、降本增效。通过AI可解释性方向的相关技术，能够更好地完成自动化的审理，或者自动化地取证，或者能够辅助人工更快地定性。另一方面，我们希望能够在更前瞻的领域沉淀能力，比如Data2Text算法的研究落地。
可解释性的算法研究是一个从浅到深的过程：包括从基于特征的可解释（比如SHAP或可视化的方法），到基于模型的可解释（既有Model Specific的，也有Model Agnostic的方法，以及目前安全领域内越来越多的深度学习相关的可解释性）。最后，我们持续探索的是怎样更好地把人工经验和机器学习结合在一起、怎样把人所理解的因果和逻辑等在建模过程中有所体现。当模型和人的判断逻辑更加吻合一致，结果自然具有更好的可解释性。
可解释性研究中常见的问题
在我们介绍具体算法之前，想先和大家探讨一些关于可解释性最常被问到的问题。我们主要聚焦在业务应用和模型效能上来讨论，很多问题深入研究的话可以上升到偏哲学和伦理的方向，我们不做展开。
第一、当我们在说怎么理解“可解释性”的时候，它的难度点在于缺乏明确的定义和优化目标。在2018年以前，已经有不少关于AI可解释的paper，但更多还是在做一些图像CV这些深度学习最早开始发力的领域的可解释。这些问题的可解释，虽然也没有公认的定义，但和人的理解比较容易达成一致。比如说在这个图中，我们要识别一只鸟或者识别一个水塔，更多是基于梯度的方法，通过机器识别把它的轮廓勾勒出来等等，这些可以和人的经验一致。如果和人的经验不一致往往也能揭示潜在的问题，比如说这个著名的例子：当机器在识别狼和狗的时候，它其实并不是去认真地识别它眼睛、耳朵的不同，而是在识别它的背景是否有雪地。当背景中有更多的雪或者野外的一些特征的时候，会更倾向于是一条狼。所以，基于梯度的方法在应用中达到了防止因为数据本身采样问题而导致的潜在风险。但是当回到风控场景，当我们主要面对的底层数据是结构化数据的时候，并没有一个很好的量化标准或者统一的可视化方法。后面讲到具体一些模型和应用的时候，会多次提到这个挑战。
第二、一个经常被挑战的点是，追求模型可解释性是不是意味着在准确性上要有所妥协。因为新增了一个“解释性”的目标后，那就要选取不是那么好的模型？或者说因为解释性，所以需要牺牲它的性能？在常见的一些方法里，你会看到这个说法是有一定的依据。比如说从最好解释的规则，到回归的方法，一直到deep learning的方法。这样的一个顺序会看到确实随着模型的复杂度增加，人会更难理解，但这复杂度往往也带来了准确性上的收益。
但是，随着更进一步的深入，随着人对机器学习更好地理解，这个此消彼长的关系是未必成立的。我们发现在一些关系到复杂逻辑的问题上，如果机器能够更好地容纳人工经验，或者人的经验能够更好地被模型本身所吸收，在人机交互上做得更好，模型可以得到更好的准确性。尤其在结构化数据做深度学习这方面，我们做了非常多的尝试，后面我们会举出更多例子。抛弃专家经验和理解、直接端到端地让机器去学习所有的参数等等，目前来看是既不高效、又不准确、也不鲁棒的方法。
第三、另一个总是被问到的问题是：做可解释性是不是能够揭示一些因果性？我认为不是。我们目前做的AI可解释性，大部分的方法是以揭示“相关性”为主，但是“相关性”经常和“因果性”有很强的关系。
社会上对可信AI有各方面的要求，而鲁棒性以及安全性、公平性等重要的AI伦理课题，都非常依赖底层的可解释能力。大环境的要求对人工智能的发展既是制约，也是一种机遇。
怎么做AI可解释性
我们先简单介绍一下，做AI可解释性的整体方法论。后面会根据具体的风控和安全场景里面我们所需要的可解释性的具体场景，介绍具体的方法。
首先是基于样本和变量趋势的归纳法，它在蚂蚁集团更多地被用于模型的诊断、可视化，不是一些很完整的模型。
而基于演绎法的四种方法都很常用，包括基于梯度的方法、基于扰动的方法、基于代理模型的方法（surrogate model），还有基于模型的内部逻辑的方法，来实现AI的“可解释”。前三种一般可以认为是模型无关的方法，第四种可能更多是跟模型相关的方法。
除了这些方法，根据我们在蚂蚁安全的实践，我们提出了一个关于可解释学习的更大的框架。我们会从两个方面来考虑这个事情：
一、黑盒模型本身的白盒化，就是让人更好地理解模型。这些工作包括重要特征的排序，对一些重要证据、关键序列的提示、高亮等等。
二、怎么样让模型更好地理解人，让模型能够吸收专家的经验，从而使得模型更加的有效和鲁棒，我们发现这是非常有用的方向。比如我们把专家经验、规则、知识要素，一些定性逻辑直接吸收在模型里，从而直接使模型得到的结果和人工的经验更加的匹配和吻合，天然地具有更好的可解释性。这些方法和整体的框架，我们会在后面的系列文章中做出更详细的解释。
AI可解释性系列分享，敬请期待
