上一期给大家分享了基于特征、模型的可解释方案在蚂蚁安全风控的应用。本篇想和大家探讨一下在AI可解释上一些更前沿的探索，我们称之为“基于逻辑的AI可解释”。实际上，目前的AI能力直接去“学习”人的逻辑，是非常困难的，因此我们的方法更多是尝试如何在建模型过程中融入人工经验，从而使得模型的产出与专家判断更吻合。我们将结合具体业务场景来分享，蚂蚁集团是如何试图结合专家逻辑做机器学习的。
专家点评：
王骞 武汉大学教授 武汉大学国家网络安全学院副院长
AI可解释性能够帮助人类理解AI系统的行为并构建可信AI，已在人工智能领域掀起了又一热潮。蚂蚁集团在AI可解释性的前沿领域不断探索，从人工和机械相互扶持、协同优化的角度出发，把专家经验融入建模过程，使得模型输出与人类逻辑相符，实现人机结合。相关方法已应用于抗辩分析、类案检索等安全风控场景中，其开发的端到端的Data2Text框架有效地提升了AI系统的可解释性，保障了人工智能系统的安全，也助力了AI可解释性的发展。
01 抗辩分析
审理定性是安全领域一个典型而重要的场景。在接到受害人的举报之后，我们需要有效地定性这确实是涉及欺诈行为，抑或是普通交易纠纷、乃至恶意举报。我们希望AI能够像法院判案一样，不仅能够充分分析举报人历史行为以及投诉内容和证据，还能够依据法律条款，列出清晰的逻辑链条，进而给出定性结果，实现一套与司法体系一致的、可解释的审理定性模型方案。
所以，我们在这个基础上做了一个叫做抗辩分析的工作，开发了用于欺诈审理的BAN模型（Belief-based Argumentation Network）。专家法条在模型中就形成了底层的逻辑图谱，从特征到相应的证据点，它实际上是一个概率分布，如果满足这个行为，就以一定概率成立某一条证据，有了完整的证据链之后就能够判断欺诈是否成立。因此基于整体样本，我们要学习的就是每一条边上面的权重，这就转化成一个优化问题，比如可以用粒子群算法来计算，也有更多别的方法可以选择。
我们把BAN看作一个“人机结合”的方法，相当于把先验的专家知识、经验或者法律法条纳入到这个模型里来了，最终的结果落在这个法条框架内，当然具有更好的可解释性。
02 类案检索
抗辩分析是从法条出发的，对应在法律里面类似于大陆法。同样是对欺诈审理定性的问题，那另一个思路就是，可不可以有海洋法，从判例出发来做可解释。比如需要判别A的诈骗罪是否成立，当审理运营需要具有解释性的依据的时候，可能会看是不是有跟它非常相似的一些案件。如果这些类案能够推送给相应的审理人员，做一个快速的比对，就可以让人更有信心和能够更快速地来完成定性。这个像判例法或者海洋法里面的做法，我们把它叫做基于类案检索的可解释。而这一块主要的技术就是多模态的匹配，或者多模态的可解释。因为在说A案件和B案件类似的时候，它就不只是结构化交易数据的相似，很多时候他们提供的证据是一些小程序或者聊天记录的截图，用户在投诉过程中的语音文本信息等等。这些综合起来之后，才能更好地判断A和B是否是否相似，是否构成类案。
03 端到端的可解释:Data2Text
最后，让我们更进一步——我们有没有可能把各种所有的数据给到机器，最终机器除了完成分类或预测任务，还能直接把判断的理由写一篇小作文予以陈述说明？有意思的是，这项技术在安全领域也是有明确的业务场景的。按反洗钱监管的要求，义务机构要监控和发现可疑的交易和账户，并最终形成逻辑紧密、论证充足、简洁易懂的规范性报文来上报。这基本是全球监管对金融机构都有的标准要求，国内监管要求中文的报文，国际上大部分要求英文的报文。
这块我们之前也做了一些调研。首先这可以看作一个文本生成（NLG），而且是长文本生成的任务。长文本生成在整个学界、业界都算非常困难的问题。我们会看到一些已有的实践，比如说会根据一场球赛的经过去生成新闻、或者根据数据生成天气预报的文字等等，而我们的场景对文本生成的要求更高，第一是文本更长，三四百字，第二是因为呈现给监管的材料，对准确率和细节的要求都非常的高。
但我们也有场景上的优势：首先，我们有相对来说较大量的训练文本，历史上的所有上报的人工撰写的报文都可以成为我们的训练语料；第二，这个工作本身的规范性是非常好的，我们如果用模板去拼接的话，能够覆盖约70%的人工任务。但是，这个模板的维护成本会非常高，当我们有新的问题，新的风险态势就意味着这个模板会越写越大，维护成本会非常的高，不scalable。
我们最开始尝试了一下像seq2seq的方法来做，效果并不好，因为这个领域必须要结合专家经验才有可能生成有意义、有价值的文本。所以最终我们开发了一个结合专家经验和神经网络的Data2Text的框架。具体包含了三个层面的“人机结合”：第一、是把专家的话术和相应的逻辑，以一个知识图谱的形式落下来，然后再把这些逻辑以metapath的形式加入到encoder中，所以对生成学习有比较好的帮助；第二，我们用人工话术构建话术库，用generation+retrieval的架构，通过retrieval的机制能够直接从话术库里得到更多信息；第三，是对整个的loss做了一些优化，除了文本学习的loss，把人工打标结果也加入loss中。基于这样的优化，形成这样一个适合我们场景的Data2text框架，我们可以通过机器对大部分常见的风险类型生成准确性高、可读性强的报文草稿，供审理人员参考利用，既节省了人工撰文的时间、也提升了风险识别的效能，极大地提升了风险运营的效率。
我们把这个data2text也做成了组件。比较有意思的是，蚂蚁安全实验室有一个叫做AlphaBand的乐团，希望未来能够用AI作词、AI作曲、给定主题能够写歌。我们用同学的周报来作为一个训练语料，然后来写出一个歌词，还是挺有意思的一个尝试，很有趣。
04 总结和展望
目前，我们的AI可解释性项目，得到了一些权威机构的认可：在国家金融科技中心，蚂蚁集团是首批完成相关评测的企业之一，在包括安全性、精准性、公平性和可解释性都得到了“高性能”、“高标准”的评价。蚂蚁集团也是首批完成中国信通院“决策透明度”相应评测的企业，在首批参加的行业公司里面，得到了唯一的4分（“卓越级”）。
最后，我想再谈一下我对可解释学习的理解。我特别喜欢中国工程院副院长陈左宁院士说过的一段话，他提到可解释技术现在主要是两个方法。第一个是可解释接口，就是事后可解释的能力。我们之前提到的很多方法，比如对于序列模型、对于图模型、对于树模型解释可能属于这一类。第二就是怎么样做好“人机结合”。在决策理论驱动的explainable AI概念框架，我们常用的或者在开发中实现的一些方法，最后汇总成了这样的一张图。可以看成是从两个方向上逼近最终目标。
从人理解模型的角度，我们会从最基本的从梯度、内部逻辑的方法逐渐向基于扰动的、基于更复杂模型结构的识别和提取；从让模型理解人的方面，我们从最底层的，比如可解释的特征生成、到基于检索，到可解释的表征，然后到更复杂的比如基于逻辑图谱、抗辩分析等等这样的方法。最终我们希望人工和机器能够成功实现一个双向的反馈，可交互、可视化，从而看到可解释学习对模型效果、性能、透明性等方面整体性的提升。这个框架既是我们已有工作的一些总结，更是我们对未来的期待和展望。
可解释性作为可信AI的一部分，目前我们还只是做了一些起步的工作，探索了一些与安全业务紧密结合的方向。在新的一年，我们也将结合风控智能化的大方向，在复杂图模型、无监督/半监督的异常检测、多模态可解释等方向持续打磨能力。未来也希望在这个领域和大家做更多的交流。
