模型解释与可解释AI实战

‌一、为什么需要模型解释？‌

模型解释技术帮助：

1. 理解模型决策依据（特征重要性）
2. 调试模型错误预测
3. 满足监管合规要求（金融/医疗）
4. 提升用户对AI的信任
   本章使用Captum实现CV/NLP模型的可视化解释

‌二、环境准备与工具安装

!pip install captum torchvision matplotlib
import torch
import numpy as np
from captum.attr import IntegratedGradients, LayerGradCam
import matplotlib.pyplot as plt

三、图像分类解释实战（CIFAR-10）‌

‌1. 加载预训练模型

from torchvision.models import resnet18model = resnet18(pretrained=True)
model.eval()

‌2. 准备测试图像

from torchvision import transformstransform = transforms.Compose([transforms.Resize(224),transforms.ToTensor(),transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])# 加载示例图像（类别：ship）
from PIL import Image
img = Image.open("test_ship.jpg").convert("RGB")
input_tensor = transform(img).unsqueeze(0)

‌3. 集成梯度解释

def visualize_attr(attr, title):attr = attr.squeeze().cpu().detach().numpy()plt.imshow(attr, cmap='hot')plt.colorbar()plt.title(title)plt.show()# 计算特征重要性
integrated_grad = IntegratedGradients(model)
attr_ig = integrated_grad.attribute(input_tensor, target=8)  # ship类别ID为8
visualize_attr(attr_ig.mean(dim=1), "Integrated Gradients")

‌4. Grad-CAM可视化

# 选择目标卷积层
target_layer = model.layer4.conv2# 计算Grad-CAM
layer_gradcam = LayerGradCam(model, target_layer)
attr_gc = layer_gradcam.attribute(input_tensor, target=8)# 可视化叠加效果
heatmap = np.clip(attr_gc.squeeze().cpu().detach().numpy(), 0, None)
heatmap = (heatmap - heatmap.min()) / (heatmap.max() - heatmap.min())orig_img = input_tensor.squeeze().permute(1,2,0).cpu().detach().numpy()
plt.imshow(orig_img * 0.5 + heatmap * 0.5)
plt.title("Grad-CAM Visualization")
plt.show()

‌四、文本分类解释实战（IMDB情感分析）‌

‌1. 加载情感分析模型

from transformers import AutoTokenizer, AutoModelForSequenceClassificationtokenizer = AutoTokenizer.from_pretrained("textattack/bert-base-uncased-imdb")
model = AutoModelForSequenceClassification.from_pretrained("textattack/bert-base-uncased-imdb")

‌2. 构建解释器

from captum.attr import LayerIntegratedGradients# 定义输入处理函数
def model_forward(input_ids, attention_mask=None):return model(input_ids, attention_mask).logits# 初始化解释器
lig = LayerIntegratedGradients(model_forward,model.bert.embeddings
)

‌3. 计算词元重要性

text = "This movie is a complete disaster, full of terrible acting and pointless scenes."
inputs = tokenizer(text, return_tensors="pt")# 计算基准值（空输入）
ref_input_ids = torch.tensor([tokenizer.cls_token_id] + [tokenizer.pad_token_id]*(inputs.input_ids.shape-2) + [tokenizer.sep_token_id], device='cpu').unsqueeze(0)# 计算归因值
attributions, delta = lig.attribute(inputs=inputs.input_ids,baselines=ref_input_ids,additional_forward_args=(inputs.attention_mask,),return_convergence_delta=True,target=0  # 负面情感对应的类别
)# 可视化结果
token_attributions = attributions.sum(dim=2).squeeze(0)
tokens = tokenizer.convert_ids_to_tokens(inputs.input_ids)plt.figure(figsize=(12, 3))
plt.bar(range(len(tokens)), token_attributions.detach().numpy())
plt.xticks(range(len(tokens)), tokens, rotation=90)
plt.title("Token Importance Scores")
plt.show()

‌五、高级解释技巧‌

‌1. 对比解释（对比不同类别）

# 对比飞机（类别0）与鸟类（类别2）的解释差异
attr_plane = integrated_grad.attribute(input_tensor, target=0)
attr_bird = integrated_grad.attribute(input_tensor, target=2)plt.figure(figsize=(10,5))
plt.subplot(1,2,1)
plt.imshow(attr_plane.mean(1).squeeze().detach().cpu(), cmap='hot')
plt.title('Airplane Attribution')plt.subplot(1,2,2)
plt.imshow(attr_bird.mean(1).squeeze().detach().cpu(), cmap='hot')
plt.title('Bird Attribution')
plt.show()

‌2. 层次相关性传播（LRP）

from captum.attr import LRPlrp = LRP(model)
attr_lrp = lrp.attribute(input_tensor, target=8)plt.imshow(attr_lrp.mean(1).squeeze().detach().cpu(), cmap='hot')
plt.title('Layer-wise Relevance Propagation')
plt.show()

六、常见问题解答‌

‌Q1：如何安装最新版Captum？

pip install git+https://github.com/pytorch/captum.git

Q2：归因结果全为0怎么办？‌

• 检查输入是否经过正确的归一化
• 尝试不同的基线值（Baseline）
• 验证模型是否真的使用该特征

import matplotlib
matplotlib.use('Agg')  # 无GUI模式plt.ioff()
fig = plt.figure()
# ...生成图像...
fig.savefig('explanation.png', bbox_inches='tight')
plt.close(fig)