Score-CAM：卷积神经网络的评分加权视觉解释

摘要

最近，越来越多的关注被引向卷积神经网络的内部机制，以及网络为何会做出特定决策。本文中，我们开发了一种基于类别激活映射的新颖事后可视化解释方法，称为Score-CAM。与以往基于类别激活映射的方法不同，Score-CAM通过前向传递得分获取每个激活图的权重，从而摆脱了对梯度的依赖，最终结果是通过权重和激活图的线性组合获得的。我们证明了Score-CAM在解释决策过程时具有更好的视觉表现和公平性。我们的方法在识别和定位任务上均优于先前的方法，并且通过了合理性检查。我们还指出了其作为调试工具的应用。

引言

基于梯度的方法将目标类别的梯度反向传播到输入中，以突出影响预测的图像区域。显著图（Saliency Map）[15]将目标类别得分相对于输入图像的导数作为解释。其他工作[1, 8, 17, 18, 20]在此梯度的基础上进行操作，以在视觉上锐化结果。这些图通常质量较低且有噪声[8]。基于扰动的方法[3, 5, 6, 9, 10, 19]对原始输入进行扰动，以观察模型预测的变化。为了找到最小区域，这些方法通常需要额外的正则化[6]，并且计算量很大。

类激活映射（CAM）[21]是一种通过线性加权组合全局池化层前最后一个卷积层的激活图来识别判别区域的技术。

基于CAM的解释[4,12,21]为单一输入提供视觉解释，通过卷积层激活图的线性加权组合实现。CAM [21]生