从CNN（卷积神经网络），又名CAM获取热图

一、说明

卷积神经网络（CNN）令人难以置信。如果你想知道它如何看待世界（图像），有一种方法是可视化它。
        这个想法是，我们从最后的密集层中得到权重，然后乘以最终的CNN层。这需要全局平均池化（GAP）才能发挥作用。

二、选择型号

        在本教程中，我们将 Keras 与 Tensorflow 和 ResNet50 结合使用。

        因为 ResNet50 有一个全局平均池化 （GAP） 层（稍后会解释），所以它适合我们的演示。这很完美。

测试图像

三、热图如何工作

        来自CNN的热图，又名类激活映射（CAM）。这个想法是我们收集卷积层的每个输出（作为图像），并将其组合在一个镜头中。（我们稍后会逐步展示代码）

卷积层输出

        因此，以下是全局平均池化 （GAP） 或全局最大池化的工作方式（取决于您使用哪个，但它们是相同的想法）。

        在一些特征提取后的模型中，我们使用与神经网络的扁平层（完全连接）来预测结果。但这一步就像丢弃图像维度和一些信息。

        相比之下，使用全局平均池 （GAP） 或全局最大池 （GMP） 在这里起作用。它保留图像维度信息，并使神经网络决定哪个CNN通道（特征图像）对于预测结果更为关键。

四、示例和代码

让我们从Keras中的ResNet50开始。

from tensorflow.keras.applications import ResNet50
res_model = ResNet50()
res_model.summary() 

ResNet-50 摘要

        如您所见（上图）：

• 红色：我们将使用此层作为“转移倾斜”。
• 绿色：全球平均池化（GAP）。这项工作至关重要。

        并导入库和图像供以后使用。

import cv2
import matplotlib.pyplot as plt
from scipy.ndimage import zoom
from tensorflow.keras.applications.resnet50 import preprocess_input, decode_predictions
img = cv2.imread('./test_cat.png')
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
X = np.expand_dims(img, axis=0).astype(np.float32)
X = preprocess_input(X)

        我们使用“from scipy.ndimage import zoom”。为了调整由于CNN而调整热图的大小，特征提取图像的形状小于原始图像。

4.1 迁移学习

        现在提取我们将使用的图层。
        P.S：你可以从头开始训练你的模型，但需要很长时间，特征提取可能也需要大量的调优。

from tensorflow.keras.models import Model
conv_output = res_model.get_layer("conv5_block3_out").output
pred_ouptut = res_model.get_layer("predictions").output
model = Model(res_model.input, outputs=[conv_ouptut, pred_layer])

        这里我们有两个输出（如上所述，图中的红色部分）。

• 首先是卷积网络输出
• 二是预测结果

        并做预测

conv, pred = model.predict(X)
decode_predictions(pred)

结果如下所示。还不错

[[('n02123159', 'tiger_cat', 0.7185241),('n02123045', 'tabby', 0.1784818),('n02124075', 'Egyptian_cat', 0.034279127),('n03958227', 'plastic_bag', 0.006443105),('n03793489', 'mouse', 0.004671723)]]

4.2 输出

        现在，让我们看看一些CNN输出。

scale = 224 / 7
plt.figure(figsize=(16, 16))
for i in range(36):plt.subplot(6, 6, i + 1)plt.imshow(img)plt.imshow(zoom(conv[0, :,:,i], zoom=(scale, scale)), cmap='jet', alpha=0.3)

CNN 输出

我们首先显示地面图像（ plt.imshow（img） ），因此我们可以将其与地面图像进行比较。
（如果你不这样做，会得到这样的结果）

图无背景图像

4.3 输出的一次性组合

        这是关键的。我们使用预测结果指数（目标）来获取权重。并乘以每个特征图与权重（点积）

target = np.argmax(pred, axis=1).squeeze()
w, b = model.get_layer("predictions").weights
weights = w[:, target].numpy()
heatmap = conv.squeeze() @ weights

然后显示带有地面图像的热图。

scale = 224 / 7
plt.figure(figsize=(12, 12))
plt.imshow(img)
plt.imshow(zoom(heatmap, zoom=(scale, scale)), cmap='jet', alpha=0.5)

CNN的热图

        这就是我们想要的结果。

五、参考资源

海沌

• 用于图像识别的深度残差学习 — https://arxiv.org/abs/1512.03385
• Grad-CAM：通过基于梯度的定位从深度网络进行视觉解释 — https://arxiv.org/abs/1610.02391
• 网中网 — https://arxiv.org/abs/1312.4400
• 学习区分性本地化的深层特征 — https://arxiv.org/abs/1512.04150