2019年10月23日，世界经济论坛（World Economic Forum）发布了《驶入深水域：金融服务领域负责任的AI技术创新指南》。其中专门针对人工智能的可解释性进行了讨论，特别是人工智能难以解释时，可能带来哪些风险；这些风险是否被过分夸大，应当如何适当应对、并从风险中寻找机遇。我们围绕这一问题对世界经济论坛报告内容进行了编译，以供参考。
——对外经济贸易大学金融科技实验室
人们希望人工智能能够被解释
人工智能进行计算的时候，是如何得出结论的？为什么机器的计算，是“不可解释”的？这个问题始终困扰着一些金融机构和监管者。这不是杞人之忧，实际上，对于这一问题的担心，往往还会阻碍着新技术的落地。
尽管长远来看，人们终究会放下对于解释性的追求，但在当下，提供可解释性的技术能力，很可能会成为同业竞争的一个重要分水岭。人们会想知道，AI到底是如何作出决策的。如果有两套以AI为底层技术的智能财务顾问系统，其中一套能够与用户良好交互，并清晰指明决策背后基本原理，另一套则是决策完全不透明的“黑箱”，前者必然更容易得到用户的青睐。
金融机构的焦虑：
“在引入投资者的真金白银之前，这个行业（指AI行业）首先应该解决好可解释性的问题”
——Blackrock流动性研究部门主管
“解决AI的可解释问题是如此重要，以至于我们甚至不需要一个解决问题的时间表——它就是这样一件刻不容缓的事情”
——Bank of America常务董事
“我们只推出没有明显偏向性，高度透明的用户友好型的机器学习系统”
——Capital One ML&AI常务副主席
监管部门担忧:
“归根结底，（可解释性）是可靠原则得以贯彻的先决条件”
——BaFin
“在金融产品和服务方面，（透明度）是AI应用以及数据分析的四大原则之一”
——MAS
“努力提高AI的可解释性，这不仅是实施风险管理的重要条件，也是建立广泛的公众信任的基础”
——FSB (financial stability board)
残酷的现实：AI越智能越不能解释
然而，从人工智能技术的发展来看，要搞清系统产出结果的具体过程，恐怕并不容易。当下最先进的AI系统是复杂和的多层次的，要解释很可能是非常困难的。
人工智能发展的前沿领域，比如深度学习领域，是高度复杂的，从数据的输入端到最终结果的输出端之间，往往包含了多个“隐含的”算法层次。
这些系统很可能成为不透明的“黑箱”，甚至对其开发者来说都是如此，具体原因如下：
（1）需要考虑的相关因素众多：AI系统包含大容量的输入变量，这就使人们很难确定到底是哪个变量在最大程度上影响了AI输出的最终结果。
（2）繁杂的中间步骤：AI系统可能要经过成百上千的中间步骤来完成某个决定，这就使人们很难寻根溯源，找到哪个具体环节出了问题。
（3）系统的自行演化：AI系统可以自行演变，人们难以根据过去系统决策预测系统将来的行为动向。
（4）迥异于人类的思维逻辑：AI系统处理数据的方式与人类的判断标准以及公平观念并不总是一致。
整体来看，尽管对于AI不可解释性的担忧是正常的，但是那种对于相关问题非得要求“非黑即白”的绝对答案的追求也没有必要。对于利益相关者要求得到相关解释的正当性，应当放到监管实践中进行具体考察。
人们需要得到的并不必然都是完全的可解释性，而应当综合考虑语境、控制权和可审查性等合理因素来判定诉求的正当性和必要性。一个对于技术专业人员有意义的解释，在普通用户看来则可能犹如读天书一般难以理解。所以，金融机构和监管者将有必要重新考量当下“一刀切”的解决办法，转而采用具体问题具体分析的分析路径。
审慎信任：既不盲目反对，又不盲目迷信
面对人工智能产品，审慎信任的态度是介于盲目不信任和盲目迷信之间的中间地带，而要达到这种审慎信任的程度，就离不开人们对AI可解释性的不懈追求。（下图表现了盲目不信任和盲目迷信的两个极端）
要实现审慎信任，很可能并不那么容易。在以下三个方面，人们的希望与实际情况可能会有所出入：
应该看到，并非在任何情境下，人们都必须通过掌握完全的可解释性才能建立上文所述的“审慎信任”。我们可能更需要基于具体案例来制定规则框架，并考虑可解释性需求的应用场景。下图说明，我们从识别需求，到分析场景，到探求AI可解释性，再到决定放弃使用AI（或不再追求可解释性）的流程。
五种结果和分别对应的条件
通俗来说，审慎信任既是对于人们解释诉求的预期管理，又是一套条件体系——符合这套条件时，人们能够接受“AI黑箱”，能够接受“不用解释”。接下来，我们将从前图中的五种结果出发（不提供解释、审查背后的运行模式、说明决策作出的原因、提供安全阀门、放弃使用AI），分别分析导向这四种结果的不同条件：
（1）不用提供解释
在少数情况下，只要AI提供的结果是确实有效的，就足够了，也就是说人们并不需要系统的可解释性来促进AI的治理以及确保AI的有效性。以下表为例：
不能提供解释的三种情形
但是上述三种情况往往是例外情况，因为在没有解释性的情况下，用户往往不能与AI建立审慎信任。
（2）解释情形一：对AI背后的运行模式进行审查
在以下两种情况下，可以允许审查AI背后的运行模式，第一种情况是当透明度优先的情况。这种情况下，需要允许以预设的特定方式来审查AI运行模式，让技术工作者清楚看到AI分别以何种方式在多大程度上影响了决策，以及AI的在整体表现如何。这一处理方式的优、缺点如下：
第二种情况是，可能存在偏差，需要着重考虑AI的决策结果。在这种情况下，审查不透明模型“思维路径”之特定方面的能力就对于审慎信任的建立至关重要。具体而言，这种情况又有三种细分情形：
（3）解释情形二：提供AI作出决策的原因
用户需要结合具体场景，并根据模型的决策，采取行动。在这种情况下，提供直观的理由，可能比僵化固定的透明性标准更重要。
在这种情况下，需要向最终用户（例如客户，业务用户甚至监管者）提供了对模型决策背后的“原因”的非技术性且可操作的见解。它没有提供对Al内部运作详尽的，端到端的内部工作机制的详细说明。而是提供了“用户友好型解释”。根据语境，让新兴技术的用户能够掌握Al决策背后的最重要因素。
这一处理方式的优、缺点如下：
对决策原理的说明，在面向消费者的应用程序中特别有用，它要求简单、可行和直观的解释论证。在消费者语境中，这种方法最适合以下三种情况：
不透明系统决策过程原理，不但对消费者的沟通有益，在对员工进行行动指示的场景下也很有意义。例如以下三种情形。
（4）解释情形之三：设立最终安全阀门
有时机构需要遏制Al失控，这种时候需要建立“护栏”，以限制特定的负面结果发生。对此机制是有必要进行解释的。这些“护栏”并没有提供关于结果如何得出的解释，而只是说明安全防护的机制。
安全机制有三种主要形式：
这一处理方式的优、缺点如下：
适用情形：当对Al模型的真正理解对于建立信任不是至关重要的，并且用户可以理解或接受AI决策产生的负面结果时，这种方式最适合采取。例如以下三种情形。
（5）无法解释的情形：放弃使用AI系统
当前文所述的任何一种的解释都无法获得，且又不属于可以“无需解释”的例外情形时，相关机构应当避免AI的使用。有时，AI的可解释性与技术的可行性之间，就是存在冲突的，存在无法解释的情况。例如：
- “可解释的Al”技术的当前并不成熟；一定要提供透明且具有挑战性的逻辑，可能在技术上不可行或在计算上并不高效。
- 某些可解释性的方法可能会破坏模型的准确性，使其无法满足预期任务的要求或不如其他不太透明的方法。
- 相对于使用Al应用程序所带来的增量收益，某些可解释性方法可能成本高、效率低。
- 对于关键业务流程，客户，业务用户和监管机构可能无法接受某些“透明化”的解释方法。
当发生以上原因中的一个或多个时，机构既可能选择放弃不透明的AI模型，也可能会选择投入研发，以解决这些局限性——例如，聘请Al专家来解决当前可解释性方法的局限性，并将其他行业的“可解释的Al”技术应用于金融服务场景。
结论：AI可解释性的未来
对AI运行的结果做出解释，并非是一劳永逸的。一次解释不等于永久可信。要确保持续的审慎信任，就需要随着技术的发展对金融机构的Al战略进行定期重新评估。
（一）定期重新评估的意义
首先，许多机构都致力于解释其AI系统以获得监管认可。信贷机构和软件服务公司正在寻求监管认证，以说服客户其可解释性解决方案的信誉。此外，一些银行已修改了其机器学习技术，以符合法律要求的原因代码。
其次，定期评估有利于明确AI决策系统的战略意义，并强调可解释性的重要性。与Al产品本身一样，在以更具交互性的形式进行解释的背后，投资特定的人才和基础架构也具有先发优势。可解释性可以是现有工作流程的事后思考或附加，但是从一开始就对人机进行更深入的了解而进行的设计也可以成为可持续的竞争优势。
第三，随着Al利用更多非常规数据， Al产品的可解释性将成为消费者接受度的关键。大量使用面部或语音识别技术和敏感行为数据（例如，基于自拍的人寿保险报价）的金融产品有被消费者视为入侵的风险。用户友好的解释是使用了什么数据以及如何使用这些数据，这对于保持信任至关重要。
最后，当公司希望通过高质量的数字基础上的建议，来区分其产品类型时，更深层次的可解释性将提供优势。那些提供金融投资建议并动态优化个人资产配置的产品，都需要将可解释性嵌入到面向客户的界面中。在这个以隐私为中心的市场中获胜的产品可能会传达所使用的数据如何改善结果。
（二）持续投入AI可解释性的意义
投资于研究AI可解释的机会甚至超出了对AI的传统研究和基本治理功能开发的商业机会；因为它提供了战略差异化的机会。投资于以用户为中心的Al系统可解释性，将创造以下战略机会：
（三）AI的可解释性与AI其他不确定性风险的联系
在Al系统中提供可解释性的需求，与AI面临的其他挑战紧密相关，具体而言，当缺乏可解释性时，可能会出现以下四类风险：
- 算法偏差风险：由于某些形式的Al缺乏对从中得出的推论的透明度，因此可能无法发现算法偏差数据。
- 信赖风险：基于Al的财务决策的适用性障碍，可能会限制下一代机器人咨询的能力。
- 系统性风险：在众多高度复杂且不透明的模型彼此实时交互的世界中，系统风险可能很难预测和应对。
- 反竞争风险：复杂而非解释性价格设定Al可以学会毫无痕迹地进行合谋。
（四）前景展望
- 为了使自动化机器学习在金融服务中扎根，这些尖端系统将需要以能够在相互关联的机构中进行有意义的风险管理，并对问责制的方式进行自我解释。对于打包，专有解决方案的B2B提供商而言，解释Al决策正变得与零售金融机构一样至关重要。
- “询问底层的Al”并不是管理可解释性的普遍“最佳”方法：根据需要解释的原因，不同的方法适用于不同的上下文。选择适当的可解释性方法为用户提供特定类型的“知情信任”，对于在金融服务中成功采用Al至关重要。
- 尽管某些应用支持对Al决策的简单，近似的解释，但在其他情况下这些可能是不可接受的。建立行业对话对于确定何时需要详尽和全面的依据至关重要。例如，对于一个可以解释的保险承保人Al，仅回答一个特定问题就足够了：“定价是否具有歧视性？”
- 各种形式的可解释性可用于解决算法偏差：“询问Al”用于检测，“部署安全措施”用于预防并提供证据合理性的基本原理。但是，可以解释的AI不能完全解决偏差性问题。机构仍将需要使用更广泛的解决方案来对此进行补充，以防止算法中对加强现实世界的偏见。
- 通过AI的可解释性获得客户或员工的信任可能成为一项战略选择，需要更深入的投资。例如，交互式的可解释性形式使用户能够以用户友好的方式探究基于Al的财务建议背后的原理，这将在未来使此类产品与透明度较低的竞争对手区分开来。实际上，这是活跃的研究社区围绕“xAI”或可解释的Al的新领域关注的焦点。
