首次摆脱对梯度的依赖,CMU等开源Score-CAM:基于置信分数的视觉可解释性
神经网络可解释性是指对于神经网络所做出的决策,进行合理的解释。这里解释可以是从数学理论层面进行的先验解释,比如对于激活函数的差异分析、模型的泛化能力分析,也可以是对于网络预测结果的后验解释,比如我们训练好的模型将一张图片分类为「猫」,我们希望知道网络是通过什么因素或特征将它分类为「猫」这个类别的。本文《Score-CAM: Score-Weighted Visual Explanations for Convolutional Neural Networks》关注的是后验解释,即解释已有模型的决策。而对于卷积神经网络,目前最常见的是通过可视化的方式来解释模型的决策(下文中可解释性与可视化将不再区分)。本文是由来自于卡内基梅隆大学、德州农工大学、武汉大学的研究人员共同提出的一种基于置信分数的视觉可解释性方法,目前论文被 CVPRW 2020 接收,代码已开源。