编辑 | 萝卜皮
人们越来越多地使用机器学习 (ML) 模型，但模型变得更加复杂且难以理解。为了理解复杂的模型，研究人员提出了解释模型预测的技术。然而，实践者很难使用可解释性方法，因为他们不知道选择哪种解释以及如何解释该解释。
加州大学的研究人员通过提出 TalkToModel 来解决使用可解释性方法的挑战：一种通过自然语言对话解释 ML 模型的交互式对话系统。它由三个组件组成：一个自适应对话引擎，可以解释自然语言并生成有意义的响应；构建对话中使用的解释的执行组件；以及对话界面。
在现实世界的评估中，73% 的医护人员同意他们会使用 TalkToModel 而不是现有系统来理解疾病预测模型，85% 的 ML 专业人士认为 TalkToModel 更易于使用，这表明 TalkToModel 对于模型可解释性非常有效。
该研究以「Explaining machine learning models with interactive natural language conversations using TalkToModel」为题，于 2023 年 7 月 27 日发布在《Nature Machine Intelligence》。
背景与瓶颈
由于其强大的性能，机器学习 (ML) 模型越来越多地在医疗保健、金融和法律等几个关键领域做出重要决策。然而，最先进的机器学习模型，例如深度神经网络，已经变得更加复杂且难以理解。这种动态给模型利益相关者带来了现实应用中的挑战，他们需要了解模型为何进行预测以及是否信任它们。
因此，用户经常转向针对这些应用程序本质上可解释的机器学习模型，包括决策列表和集合以及广义附加模型，人们更容易理解这些模型。尽管如此，黑盒模型通常更加灵活和准确，从而促进了事后解释的发展，以解释经过训练的机器学习模型的预测。这些可解释性技术要么在预测周围的局部区域中拟合忠实的模型，要么检查内部模型细节（例如梯度）来解释预测。
然而，最近的研究表明，用户常常难以使用可解释性技术。这些挑战是由于难以弄清楚要实施哪些解释、如何解释解释以及回答最初解释之外的后续问题。过去，研究人员提出了几种点击式仪表板技术来帮助克服这些问题。
但是，这些方法仍然需要高水平的专业知识，因为用户必须知道要运行哪些解释，并且缺乏支持用户可能提出的任意后续问题的灵活性。总体而言，通过简单直观的交互来理解机器学习模型是许多应用程序采用的关键瓶颈。
用自然语言方法应对挑战
自然语言对话由于其易用性、容量和对持续讨论的支持，是支持与 ML 模型进行广泛且易于访问的交互的有前景的解决方案。然而，设计一个能够提供令人满意的模型理解体验的对话系统会带来一些挑战。
首先，系统必须处理有关模型和数据的许多对话主题，同时促进自然的对话流程。此外，系统必须适用于各种模型类和数据，并且应该理解不同设置中的语言用法。最后，对话系统应该生成准确的响应来解决用户的核心问题。
在最新的研究中，加州大学的研究人员通过引入 TalkToModel 来应对这些挑战：该系统支持开放式自然语言对话，用于理解任何表格数据集和分类器的 ML 模型。用户可以与 TalkToModel 讨论预测发生的原因、数据变化时预测将如何变化以及如何翻转预测以及许多其他对话主题。
图示：TalkToModel 概述。（来源：论文）
此外，他们可以对数据中的任何组（例如单个实例或特定实例组）执行这些分析。例如，在疾病预测任务中，用户可以询问「BMI 对于预测有多重要？」或「那么，将血糖水平降低 10 会如何改变 20 岁以上男性患此病的可能性？」。TalkToModel 将通过描述如何进行回应，例如，BMI 是预测的最重要特征，降低血糖将使患糖尿病的几率降低 20%。用户可以通过提出后续问题进一步参与对话。与 TalkToModel 的对话使模型的可解释性变得简单，因为用户可以用自然语言与系统讨论模型，并且系统将生成有用的响应。
图示：与 TalkToModel 的对话。（来源：论文）
为了支持 TalkToModel 的丰富对话，研究人员引入了语言理解和模型可解释性技术。首先，他们提出了一种对话引擎，它使用大语言模型（LLM）将用户文本输入（称为用户话语）解析为类似于结构化查询语言的编程语言。LLM 通过将用户话语翻译成编程语言的任务视为 seq2seq 学习问题来执行解析，其中用户话语是源，编程语言中的解析是目标。并且，TalkToModel 语言将解释、ML 错误分析、数据操作和描述性文本的操作组合成一种语言，能够表示大多数模型可解释性所需的各种潜在对话主题。
为了支持系统适应任何数据集和模型，研究人员引入了轻量级适应技术来微调 LLM 来执行解析，从而能够对新设置进行强泛化。其次，他们引入一个执行引擎来运行每个解析中的操作。为了减轻用户决定运行哪些解释的负担，还引入了自动为用户选择解释的方法。特别是，该引擎运行许多解释，比较它们的保真度并选择最准确的解释。
最后，研究人员构建了一个文本界面，用户可以使用该系统进行开放式对话，使任何人，包括那些技术技能最低的人，都能理解机器学习模型。
图示：TalkToModel 支持的操作概述。（来源：论文）
实验表明，TalkToModel 能够高度准确地理解用户，并且可以比现有系统更好地帮助用户理解 ML 模型的预测。研究人员认为，TalkToModel 是医疗保健工作者等领域专家理解 ML 模型（例如应用于疾病诊断的模型）的一种非常有效的方法。
将来，研究 TalkToModel 在「野外」的应用将很有帮助，例如在医生办公室、实验室或专业环境中，模型利益相关者可以使用该系统来理解他们的模型。
TalkToModel：https://github.com/dylan-slack/TalkToModel
论文链接：https://www.nature.com/articles/s42256-023-00692-8
