你的模型真的“懂”吗？用 Captum / SHAP 把神经网络扒开给你看

做模型这几年，我有一个越来越强烈的感受：

模型效果越好，我们反而越不敢信它。

尤其是深度学习——一个 accuracy 99% 的模型，你问它“为什么这么判断”，它一句话都说不出来。

这就很尴尬了。

在很多场景（金融风控、医疗诊断、推荐系统）里：

👉 “对”不够，你还得“说得清为什么对”

今天咱就聊点实用的：
如何用 Captum / SHAP，把神经网络“拆开”，看看它到底在想什么。

一、先说人话：什么是“模型可解释性”？

别整太玄学，我给你一个接地气定义：

模型可解释性 = 告诉你“哪些特征影响了这次预测”

比如：

• 一张猫图 → 模型为什么判定是猫？
• 一条用户行为 → 为什么推荐这个商品？

如果你能回答：

👉 “因为它看到了耳朵、胡须、轮廓”

那你这个模型，就算“可解释”。

二、两大主流思路（你只要记住这个）

目前主流解释方法，基本分两类：

1️⃣ 基于梯度（Captum 代表）

👉 看“输入变化 → 输出变化”的敏感度

适合：

• PyTorch 模型
• 图像 / NLP

代表：
👉 Integrated Gradients
👉 Saliency Map

2️⃣ 基于特征贡献（SHAP 代表）

👉 把预测结果拆成“每个特征的贡献”

适合：

• 表格数据
• 黑盒模型（XGBoost / NN）

💡 一句话总结：

Captum 更偏“模型内部”，SHAP 更偏“模型外部解释”

三、先来点直观的（看图才有感觉）

假设我们有一张图片，模型判断是“猫”，那解释图长这样：

红色区域：模型重点关注
蓝色区域：负贡献

👉 模型其实是在“看耳朵和脸”，而不是背景

这时候你就能判断：

• 模型是不是学对了？
• 有没有学歪（比如只看背景）

四、实战一：用 Captum 看 CNN 到底在看什么

先来一个 PyTorch + Captum 示例。

安装：

pip install captum

示例代码（核心来了）

import torch
from torchvision import models, transforms
from PIL import Image
from captum.attr import IntegratedGradients
import matplotlib.pyplot as plt
import numpy as np

# 1. 加载模型
model = models.resnet18(pretrained=True)
model.eval()

# 2. 预处理图片
transform = transforms.Compose([
    transforms.Resize((224, 224)),
    transforms.ToTensor()
])

img = Image.open("cat.jpg")
input_tensor = transform(img).unsqueeze(0)

# 3. 计算归因
ig = IntegratedGradients(model)
attributions, _ = ig.attribute(input_tensor, target=281, return_convergence_delta=True)

# 4. 可视化
attr = attributions.squeeze().detach().numpy().transpose(1, 2, 0)
attr = np.mean(attr, axis=2)

plt.imshow(attr, cmap='hot')
plt.colorbar()
plt.title("Feature Importance (Captum)")
plt.show()

你会得到什么？

👉 一张“热力图”

• 红色：模型重点关注区域
• 黑色：无关区域

💡 我的经验：

如果模型关注的是“背景”，那你的数据八成有问题

五、实战二：用 SHAP 拆解预测结果（更通用）

SHAP 是我日常用得最多的工具，尤其在：

• 推荐系统
• 风控模型
• 用户画像

安装：

pip install shap

示例代码（表格数据）

import shap
import xgboost as xgb
from sklearn.datasets import load_boston

# 1. 加载数据
X, y = load_boston(return_X_y=True)

# 2. 训练模型
model = xgb.XGBRegressor().fit(X, y)

# 3. SHAP解释器
explainer = shap.Explainer(model)
shap_values = explainer(X)

# 4. 可视化
shap.plots.waterfall(shap_values[0])

解释一下这个图（重点）

你会看到类似：

+10（房屋面积大）
-3（距离市中心远）
+5（学区好）

最终：

👉 预测值 = 基线值 + 各特征贡献

💡 这东西的威力在哪？

你可以精确回答：“为什么这个用户被推荐？”

六、进阶玩法：用 SHAP 找“模型偏见”

这块很关键，但很多人忽略。

比如你发现：

• “性别”特征贡献特别高
• 或“地区”对结果影响巨大

那就要警惕：

👉 模型可能有偏见（bias）

快速查看全局特征重要性：

shap.plots.bar(shap_values)

你能看到：

👉 哪些特征在“整体上”最重要

💡 一句很现实的话：

很多模型问题，不是算法问题，是数据价值观问题

七、Captum vs SHAP，到底怎么选？

我给你一个简单粗暴的选择指南：

八、我踩过的几个坑（你可以少走弯路）

1. 解释 ≠ 因果

SHAP 告诉你“相关性”，不是因果。

👉 别用来做决策闭环（会翻车）

2. 数据分布变了，解释也会变

👉 线上解释和离线解释可能不一致

3. 解释结果不稳定

特别是：

• 小样本
• 高噪声数据

💡 经验一句话：

解释模型之前，先保证模型是“健康”的

九、最后说点真实感受

很多人觉得“模型可解释性”是锦上添花，但我越来越觉得：

它其实是底线能力

为什么？

因为当模型出问题时：

• 没解释 → 只能猜
• 有解释 → 可以定位问题

这在生产环境里，差距巨大。

十、结尾一句话

我们做深度学习，很容易沉迷于：

• 更大的模型
• 更高的精度
• 更复杂的结构

但别忘了一个本质问题：

你真的“理解”你的模型吗？

如果答案是否定的，那你不是在用模型，你是在“赌模型”。

而 Captum 和 SHAP，本质上帮你做了一件很重要的事：

把黑盒，变成“半透明的盒子”。