企业官网建设流程全解析

简介：本资源是一份面向人工智能研究者与高校硕博生的图文多模态情感识别技术综述文档，聚焦大模型增强与跨模态特征融合两大核心方向，系统解决多源异构数据（文本+图像）下情感判别准确率低、模态对齐难、融合策略单一等实际问题。文档为单文件Word格式（.docx），共1个87KB文件，内容结构完整，涵盖研究背景与意义、国内外现状对比、大模型（BERT/GPT类）在情感识别中的适配机制与优势分析、CNN/RNN驱动的早期/晚期融合策略、算法设计全流程（数据预处理→特征提取→分类器优化→评估）、典型实验环境搭建及结果可视化分析，并专章探讨当前数据集规模不足、时序偏差、融合鲁棒性等挑战与未来演进路径。目前已有100人学习下载，适合开展课程设计、科研立项或论文写作前的技术梳理与方法论参考。

1. 图文多模态情感识别不是“文本+图像拼接”：大模型增强与特征融合的真实价值在哪儿？

你有没有试过把一张愤怒表情包和一句“今天好开心”硬凑进同一个模型——结果分类器一脸懵，输出“中性”？这不是玄学，是图文多模态情感识别里最典型的翻车现场。这份《图文多模态情感识别研究：大模型增强与特征融合方法.docx》不是泛泛而谈的综述PPT，而是一份从实验室黑匣子拆出来的实战笔记：它明确告诉你，真正起效的不是“用BERT提文本特征、用ResNet提图像特征、再concat一下”，而是大模型如何重构跨模态语义对齐，以及特征融合到底该在哪个粒度、哪个位置、用什么约束去发生。文档里反复出现的IEMOCAP、FCA、EMO-5000等数据集，不是摆设——它们对应着真实业务场景：社交媒体舆情监控要扛住图文错位（配图是暴雨，文案是“阳光真好”）；电影评论分析得区分“截图里演员笑但台词在哭”；新闻传播评估必须处理标题党（耸动标题+平和配图）。它不教你怎么调参，而是直击核心：为什么85%准确率的模型在真实UGC数据上掉到62%？答案藏在第3章“跨模态特征融合策略探讨”和第4章“算法设计”里——那里有可复现的注意力权重可视化代码、有ViT-BERT对齐失败时的梯度爆炸日志片段、有特征拼接后维度爆炸导致OOM的实测内存曲线。适合谁？正在做智能客服情绪反馈、短视频平台内容安全审核、或医疗问诊图文报告情感辅助判读的一线算法工程师；也适合被导师催着交“多模态创新点”的研二同学——因为文档里所有公式（比如$F = \alpha I + \beta T$）都附带了PyTorch可运行的等价实现，且标注了$\alpha,\beta$在实际训练中为何不能简单设为0.5/0.5。这不是理论论文，是踩过坑后留下的路标。

2. 大模型不是越大越好：图文情感识别中模型选型与增强策略的硬核逻辑

2.1 为什么ViT+BERT组合在图文情感任务上比CLIP更稳？

文档第2章反复强调“大模型增强”，但没说清楚一个关键事实：CLIP这类对比学习大模型，在图文情感识别上常因目标函数错位而翻车。CLIP预训练目标是图文匹配（image-text alignment），而情感识别需要的是细粒度语义差异建模（如“微笑”vs“皮笑肉不笑”）。文档第2.2节提到的“Bert微调后在EMO-5000上F1达96%”，其背后是明确的选型逻辑：

• 文本侧：RoBERTa-base（而非GPT）——因情感分类是理解型任务，非生成型，双向注意力更适配；
• 图像侧：ViT-Base/16（非ResNet-101）——ViT的patch embedding天然适配图文token对齐，而ResNet的全局池化会丢失局部情感线索（如眼神、嘴角弧度）；
• 对齐方式：文档第4.1节明确弃用CLIP的contrastive loss，改用跨模态MLM（Masked Language Modeling）+ 图像区域掩码重建，即：对文本随机mask 15% token，同时对图像patch随机mask 20%，联合优化重建loss。

这个策略在文档附录实验表中体现为：ViT+RoBERTa在FCA数据集上F1=0.87，而CLIP-ViT在相同设置下仅0.79。原因在于CLIP的对比loss无法监督细粒度情感token（如“哽咽”“攥拳”）与图像区域的精确映射。

# 文档第4.1节配套代码：跨模态MLM训练核心逻辑（PyTorch） def forward(self, text_input_ids, image_patches): # 文本侧：RoBERTa编码 + MLM head text_emb = self.text_encoder(text_input_ids) # [B, L, D] mlm_logits = self.mlm_head(text_emb) # [B, L, VocabSize] # 图像侧：ViT编码 + patch重建head img_emb = self.vit_encoder(image_patches) # [B, N, D] recon_logits = self.patch_recon_head(img_emb) # [B, N, PatchDim] # 关键：联合loss，强制文本情感词与图像情感区域对齐 # 文档第2.3节案例中，"哽咽"文本token需与图像中喉部区域patch重建误差最小 total_loss = self.mlm_loss(mlm_logits, masked_text_labels) + \ self.recon_loss(recon_logits, masked_image_patches) + \ self.align_loss(text_emb, img_emb) # 对齐loss见2.2节说明 return total_loss

提示：align_loss并非简单cosine相似度。文档第2.2节脚注指出，它采用动态温度系数的InfoNCE变体：对每个文本token，只计算与其语义最近的3个图像patch的对比loss，避免背景噪声干扰。温度系数τ在训练中从0.1线性衰减至0.01，这是文档第5.2节实验验证出的关键超参。

2.2 大模型“增强”的本质：不是堆参数，而是重构特征空间

文档第2章标题写“大模型增强”，但正文第2.1节一针见血：“增强”指利用大模型的中间层表征，替代传统手工特征，构建跨模态统一语义空间。这直接否定了“用BERT最后层输出+ViT最后层输出直接拼接”的粗暴做法。文档第3.2节给出证据：在IEMOCAP数据集上，直接拼接ViT最后一层[CLS] token与BERT最后一层[CLS] token，F1仅为0.72；而采用文档提出的分层对齐策略（Layer-wise Alignment），F1跃升至0.85。

该策略要求：

• ViT的第4、8、12层输出，分别与BERT的第4、8、12层输出进行cross-attention对齐；
• 对齐loss不是L2距离，而是KL散度约束的分布匹配：强制ViT某层patch embedding的softmax分布，与BERT对应层token embedding的softmax分布一致。

# 文档第3.2节配套代码：分层对齐的KL散度loss def layer_align_loss(vit_layer_out, bert_layer_out, temperature=0.05): """ vit_layer_out: [B, N, D] -> patch embeddings bert_layer_out: [B, L, D] -> token embeddings 文档第3.2节说明：N=196 (14x14 patches), L=512 (max seq len) """ # 步骤1：将patch/token embedding投影到同一空间（文档第4.2节提及的Linear投影层） proj_vit = self.proj_vit(vit_layer_out) # [B, N, D_proj] proj_bert = self.proj_bert(bert_layer_out) # [B, L, D_proj] # 步骤2：计算相似度矩阵（文档第3.2节公式F=Attention(I,T)的实现基础） sim_matrix = torch.einsum('bnd,bld->bnl', proj_vit, proj_bert) / temperature # 步骤3：KL散度约束——强制patch分布≈token分布（文档第3.2节脚注2） # 对每个patch，计算其与所有token的softmax概率，再与token侧softmax分布求KL patch_dist = F.softmax(sim_matrix, dim=-1) # [B, N, L] token_dist = F.softmax(sim_matrix.transpose(1,2), dim=-1) # [B, L, N] # KL(p||q) = sum(p * log(p/q)) kl_loss = torch.mean(torch.sum(patch_dist * torch.log(patch_dist / (token_dist + 1e-8)), dim=-1)) return kl_loss

参数说明：temperature=0.05是文档第5.2节实验确定的最优值。温度过高（如0.1）导致分布过于平滑，对齐失效；温度过低（如0.01）使梯度消失。proj_vit/proj_bert是两个独立的Linear层（文档第4.2节称其为“语义桥接器”），维度D_proj=768，与BERT/ViT隐藏层一致。

2.3 案例驱动的增强验证：三个真实场景的失败归因与修复路径

文档第2.3节的三个案例（社交媒体、新闻舆情、电影评论）不是罗列，而是故障树分析模板。它教会你：当模型在某个场景失效时，如何快速定位是大模型问题还是融合策略问题。

这些修复方案全部在文档附录提供了可运行代码片段，且明确标注了在哪个数据集上验证有效（如“局部patch门控在微博情感数据集上提升F1 3.2%”）。

3. 特征融合不是“加权平均”：四种融合策略的适用边界与避坑指南

3.1 早期融合、晚期融合、混合融合、注意力融合：何时用哪种？

文档第3章的核心价值，在于它用量化实验数据划清了四种融合策略的适用边界，而非空谈概念。第3.1节表格明确指出：

• 早期融合（输入层拼接）：仅适用于模态间高度同步的数据（如视频帧+对应字幕），在图文场景中因图文异步性，F1普遍低于0.70；
• 晚期融合（决策层集成）：鲁棒性最强，但计算开销大，在文档第5.1节实验中，单卡V100推理延迟达1200ms，不满足实时舆情监控需求；
• 混合融合：文档推荐的默认方案，但必须满足一个前提——文本与图像特征维度必须严格对齐（文档第3.2节强调：“ViT输出768维，BERT必须用768维base模型，不可混用large”）；
• 注意力融合：效果最好（F1最高0.88），但对训练数据量敏感，文档第5.2节显示：当训练样本<5000时，注意力权重易坍缩为全0或全1，退化为简单加权。

因此，文档第4.2节提出自适应融合策略：先用混合融合训练基线模型，再用其预测结果作为监督信号，蒸馏一个轻量级注意力融合模型。该策略在EMO-5000数据集上，以仅增加15%参数量的代价，将F1从0.85提升至0.87。

# 文档第4.2节：自适应融合的蒸馏核心代码 class AdaptiveFusion(nn.Module): def __init__(self, hidden_dim=768): super().__init__() # 基线混合融合模块（文档第3.1节定义） self.hybrid_fuser = HybridFuser(hidden_dim) # 输出 [B, hidden_dim] # 轻量级注意力融合模块（蒸馏目标） self.attn_fuser = LightweightAttnFuser(hidden_dim) # 输出 [B, hidden_dim] # 蒸馏loss：让attn_fuser输出逼近hybrid_fuser输出 self.distill_loss = nn.MSELoss() def forward(self, text_feat, img_feat, is_training=True): hybrid_out = self.hybrid_fuser(text_feat, img_feat) # [B, D] if is_training: attn_out = self.attn_fuser(text_feat, img_feat) # [B, D] # 文档第4.2节强调：蒸馏loss权重λ=0.3，经网格搜索确定 distill_loss = self.distill_loss(attn_out, hybrid_out.detach()) return attn_out, distill_loss else: return self.attn_fuser(text_feat, img_feat) # LightweightAttnFuser结构（文档第3.3节简化版） class LightweightAttnFuser(nn.Module): def __init__(self, hidden_dim): super().__init__() self.query_proj = nn.Linear(hidden_dim, hidden_dim//4) # 降维减少计算 self.key_proj = nn.Linear(hidden_dim, hidden_dim//4) self.value_proj = nn.Linear(hidden_dim, hidden_dim) def forward(self, text_feat, img_feat): # text_feat: [B, D], img_feat: [B, D] Q = self.query_proj(text_feat) # [B, D//4] K = self.key_proj(img_feat) # [B, D//4] V = self.value_proj(img_feat) # [B, D] # 简化attention：QK^T后softmax，再乘V attn_weights = F.softmax(torch.einsum('bd,bd->b', Q, K), dim=0) # [B] fused_feat = torch.einsum('b,bd->bd', attn_weights, V) # [B, D] return fused_feat

逻辑说明：此代码实现了文档第4.2节的“蒸馏轻量注意力”思想。LightweightAttnFuser将计算复杂度从标准attention的O(N²)降至O(N)，因text_feat和img_feat均为单向量（非序列），故torch.einsum('bd,bd->b', Q, K)直接计算batch内每个样本的Q-K相似度。attn_weights是标量权重，用于加权图像特征V，最终输出融合向量。文档第4.2节强调，该设计在保持效果的同时，将单次推理耗时从850ms降至210ms（V100实测）。

3.2 跨模态特征融合的致命陷阱：维度灾难与梯度冲突

文档第3.3节“跨模态特征融合策略探讨”直面一个被多数教程回避的问题：当ViT输出196个patch embedding（[B,196,768]），BERT输出512个token embedding（[B,512,768]）时，如何融合？直接拼接得到[B,708,768]，后续全连接层参数量爆炸。文档给出两种工业级解法：

1. Patch-Token Matching（文档第3.3节图5）：

   • 将ViT的196个patch视为“图像token”，BERT的512个token视为“文本token”；
   • 构建一个196×512的相似度矩阵，用匈牙利算法（Hungarian Algorithm）求解最优匹配；
   • 每个图像patch只与1个最相关文本token对齐，反之亦然；
   • 最终融合向量 = 所有匹配对的加权和（权重=相似度分数）。

2. Region-Word Grounding（文档第3.3节公式12）：

   • 先用YOLOv5检测图像中的人脸、手势、物体等区域；
   • 用spaCy提取文本中的名词、动词、形容词；
   • 建立区域-词的语义相似度（用Sentence-BERT计算），仅融合高相似度（>0.6）的区域-词对。

这两种方法在文档第5.2节实验中，将融合模块显存占用从18GB降至4.2GB（V100），且F1无损。

3.3 避坑：特征融合的四个血泪经验

现象1：融合后模型在训练集上F1=0.95，测试集骤降至0.62

原因：文档第3.2节指出，这是特征尺度未归一化导致。ViT的patch embedding L2范数均值为3.2，BERT的token embedding均值为1.8，直接相加使图像特征主导融合结果。
解决：在融合前，对两类特征做L2归一化：F = α * F_i / ||F_i||_2 + β * F_t / ||F_t||_2。文档第4.2节代码中，α=β=0.5，且归一化操作在forward函数开头强制执行。

现象2：注意力权重图显示所有patch权重趋近于0

原因：文档第3.3节附录B证实，这是初始化偏差。当query_proj和key_proj的Linear层使用默认Xavier初始化时，初始QK^T输出集中在[-0.1,0.1]，softmax后权重均匀分布。
解决：将query_proj和key_proj的bias设为0.5（文档第4.2节脚注5），使初始QK^T输出集中在[0.4,0.6]，softmax后自然产生稀疏权重。

现象3：混合融合中，文本特征通道被图像特征完全淹没

原因：文档第3.1节图3显示，ViT的梯度幅值（mean=0.023）是BERT（mean=0.008）的2.8倍，导致反向传播时图像分支主导更新。
解决：在损失函数中加入梯度均衡项：total_loss = task_loss + λ * |grad_norm_img - grad_norm_text|，其中λ=0.01（文档第5.2节网格搜索结果）。

现象4：使用PCA降维后，融合效果反而下降

原因：文档第3.3节强调，PCA破坏了跨模态语义对齐结构。ViT的patch embedding在PCA主成分空间中，与BERT token embedding的余弦相似度从0.71降至0.33。
解决：改用跨模态CCA（Canonical Correlation Analysis），在文档第4.1节提供cca_align.py脚本：先用ViT和BERT提取特征，再用CCA找到两组特征的最大相关子空间，投影后融合。实测CCA使F1提升1.8%。

4. 图文多模态情感识别算法落地：从数据预处理到性能评估的全流程复现

4.1 数据预处理：为什么“去停用词”在图文任务中是危险操作？

文档第4.1节“数据预处理与特征提取”颠覆常识：在图文情感识别中，停用词（如“的”“了”“啊”）常携带关键情感线索。例如，“笑了” vs “笑”，“真的” vs “真”。文档第4.1节表2显示，在微博数据集上，去除停用词使F1下降4.3%。

因此，文档推荐的预处理流程是：

1. 文本侧：仅去除HTML标签、URL、重复标点（如“！！！”→“！”），保留所有中文字符和情感标点；
2. 图像侧：不进行全局直方图均衡化（会失真情感色彩），改用局部对比度受限自适应直方图均衡（CLAHE），参数clip_limit=2.0（文档第4.1节脚注3）；
3. 对齐处理：对每对图文，用OCR提取图像文字，若OCR文本与给定文本编辑距离>0.3，则标记为“图文错位样本”，在训练时赋予更高loss权重（文档第4.2节misalignment_weight.py）。

# 文档第4.1节：图文错位样本加权loss def misalignment_weighted_loss(pred, target, ocr_text, given_text, weight_factor=2.0): """ ocr_text: OCR识别出的图像文字（str） given_text: 数据集提供的原始文本（str） """ # 计算编辑距离相似度（Levenshtein ratio） from difflib import SequenceMatcher similarity = SequenceMatcher(None, ocr_text, given_text).ratio() # 若相似度低，加大loss权重 base_loss = F.cross_entropy(pred, target, reduction='none') if similarity < 0.3: weighted_loss = base_loss * weight_factor else: weighted_loss = base_loss return weighted_loss.mean() # 使用示例（文档第4.2节train_loop.py） for batch in dataloader: pred = model(batch['text'], batch['image']) loss = misalignment_weighted_loss( pred, batch['label'], batch['ocr_text'], batch['given_text'] ) loss.backward()

参数说明：weight_factor=2.0是文档第5.2节实验确定的平衡点。设为3.0会导致模型过度关注错位样本，忽略常规样本；设为1.5则加权效果不足。SequenceMatcher.ratio()返回0~1的相似度，0.3是文档在FCA数据集上通过ROC曲线确定的最佳阈值。

4.2 情感分类器设计：为什么全连接层不是终点，而是起点？

文档第4.2节“情感分类器设计与优化”指出，在图文融合后接一个3层全连接网络（FC）是最低效的做法。它推荐一种“双路径分类器”：

• 主路径：融合特征 → FC → Softmax（标准分类）；
• 辅助路径：融合特征 → LSTM（捕捉情感演化趋势） → FC → Softmax（文档第4.2节称其为“时序情感校准”）；
• 最终输出 = 主路径logits × 0.7 + 辅助路径logits × 0.3。

该设计源于文档第2.3节电影评论案例：观众对电影的情感常随剧情推进变化（如开头期待→中段失望→结尾感动），单一FC无法建模此过程。LSTM虽只处理1D融合向量，但文档第4.2节证明，将其视为“情感状态演化模拟器”，能提升长评论的分类准确率。

# 文档第4.2节：双路径分类器代码 class DualPathClassifier(nn.Module): def __init__(self, input_dim=768, num_classes=5): super().__init__() # 主路径：标准FC self.main_fc = nn.Sequential( nn.Linear(input_dim, 512), nn.ReLU(), nn.Dropout(0.3), nn.Linear(512, num_classes) ) # 辅助路径：LSTM模拟情感演化 self.aux_lstm = nn.LSTM(input_size=input_dim, hidden_size=256, num_layers=1, batch_first=True) self.aux_fc = nn.Linear(256, num_classes) def forward(self, fused_feat): # fused_feat: [B, D] —— 文档第4.2节强调，这是单向量，非序列 # 为输入LSTM，需扩展为[B, 1, D]（1步长序列） lstm_input = fused_feat.unsqueeze(1) # [B, 1, D] lstm_out, _ = self.aux_lstm(lstm_input) # [B, 1, 256] aux_logits = self.aux_fc(lstm_out.squeeze(1)) # [B, C] main_logits = self.main_fc(fused_feat) # [B, C] # 加权融合（文档第4.2节固定权重） final_logits = main_logits * 0.7 + aux_logits * 0.3 return final_logits # 使用示例 classifier = DualPathClassifier() logits = classifier(fused_feature) # fused_feature来自3.1节的AdaptiveFusion

逻辑说明：此代码实现了文档第4.2节的“双路径”思想。关键点在于fused_feat.unsqueeze(1)——将单向量融合特征视为长度为1的序列输入LSTM。文档第4.2节解释：LSTM在此并非处理时序，而是利用其门控机制（遗忘门、输入门）对融合特征进行二次非线性变换，模拟“情感状态在大脑中的持续加工过程”。实验证明，该设计在IMDB长评论子集上，将F1从0.92提升至0.94。

4.3 模型训练与性能评估：别只看Accuracy，这四个指标才是命门

文档第4.3节“模型训练与性能评估”强调，在情感识别中，Accuracy具有欺骗性。例如，一个永远预测“中性”的模型在三分类（积极/中性/消极）数据集上，Accuracy可达65%，但毫无价值。文档强制要求报告以下四个指标：

文档第4.3节提供完整评估脚本eval_metrics.py，自动计算上述四指标，并生成混淆矩阵热力图（文档第5.2节图7）。

5. 实验复现与结果分析：避开环境、数据、评估的三大深坑

5.1 实验环境搭建：为什么PyTorch 1.12 + CUDA 11.3是黄金组合？

文档第5.1节“实验环境搭建与数据集准备”明确列出硬件与软件栈，并解释选择理由：

• GPU：NVIDIA V100 32GB（非A100）——因文档所有实验在V100上完成，A100的Tensor Core可能引入精度漂移；
• PyTorch：1.12.1（非最新版）——因文档第5.1节附录A指出，PyTorch 1.13+的torch.compile在ViT-BERT联合训练中，会使梯度计算错误率上升0.7%；
• CUDA：11.3（非11.8）——因文档第5.1节表4显示，CUDA 11.3的cuBLAS库对ViT的patch embedding矩阵乘法优化最佳，较11.8提速12%；
• 关键依赖：transformers==4.26.1,timm==0.6.13,scikit-learn==1.2.2（文档第5.1节脚注1）。

注意：文档第5.1节强调，必须禁用torch.backends.cudnn.benchmark = True，因其在小批量（batch_size=8）训练中，会因反复切换卷积算法导致显存碎片化，最终OOM。应设为False并固定cudnn.deterministic = True以保证可复现性。

5.2 实验过程与结果展示：F1=0.87背后的真实含义

文档第5.2节“实验过程与结果展示”不只列数字，而是揭示数字背后的工程真相：

• 数据集划分：所有实验采用分层抽样（Stratified Split），确保训练/验证/测试集的各类情感比例一致（文档第5.2节图6）；
• 训练轮数：固定为30 epoch，但早停（Early Stopping）基于验证集Weighted F1，patience=5（文档第5.2节表5）；
• 学习率策略：Warmup 500 steps，然后余弦退火至0（文档第5.2节图8）；
• 关键结果：在IEMOCAP上，文档方法F1=0.85，但置信区间为[0.83,0.87]（95% CI，基于5次随机种子实验），表明结果稳健。

文档第5.2节图9的消融实验（Ablation Study）最具价值：

• 移除跨模态MLM（2.1节）→ F1 ↓3.1%；
• 移除分层对齐（2.2节）→ F1 ↓2.4%；
• 移除双路径分类器（4.2节）→ F1 ↓1.2%；
• 移除图文错位加权（4.1节）→ F1 ↓0.8%。
  这证明文档所有技术点均有实证贡献，非堆砌。

5.3 结果分析与讨论：为什么你的复现结果比文档低3%？

文档第5.3节“结果分析与讨论”坦诚列出复现差距的三大主因，并给出解决方案：

1. 数据预处理差异：文档第5.3节指出，90%的复现失败源于OCR质量。若用Tesseract OCR，其对模糊截图识别率仅68%，而文档使用PaddleOCR v2.6（在文档第5.1节依赖列表中），识别率达92%。解决方案：pip install paddlepaddle-gpu==2.4.2 paddleocr==2.6.0.1。

2. 随机种子未固定：文档第5.3节强调，必须在训练前设置四重种子：

   # 文档第5.3节指定代码 import random import numpy as np import torch seed = 42 random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) # 关键！

3. 评估指标计算方式不同：文档第5.3节发现，部分复现者用sklearn.metrics.f1_score(y_true, y_pred, average='macro')，而文档用'weighted'。在FCA数据集（类别不均衡）上，macro-F1比weighted-F1低2.1%。文档提供eval_metrics.py确保计算一致。

6. 进阶技巧：用特征可视化与错误分析反向驱动模型迭代

6.1 特征可视化：如何用Grad-CAM看懂模型在“看”什么？

文档第6章不讲理论，只给可立即上手的调试技巧。第6.1节“特征可视化”提供gradcam_visualize.py脚本，用于生成ViT的Grad-CAM热力图。关键不是生成图，而是如何解读：

• 正确样本热力图：应聚焦于情感线索区域（如“愤怒”配图，热力集中在皱眉、紧闭嘴唇）；
• 错误样本热力图：若模型将“微笑”判为“悲伤”，热力图却集中在背景人物，说明特征提取器被背景噪声误导（文档第6.1节图12）。

# 文档第6.1节：ViT Grad-CAM可视化核心代码 from pytorch_grad_cam import GradCAM from pytorch_grad_cam.utils.image import show_cam_on_image # 加载ViT模型（文档第5.1节指定timm==0.6.13） model = timm.create_model('vit_base_patch16_224', pretrained=True) target_layers = [model.blocks[-1].norm1] # 取最后一层block的LN1 cam = GradCAM(model=model, target_layers=target_layers, use_cuda=True) grayscale_cam = cam(input_tensor=img_tensor, targets=None) # img_tensor: [1,3,224,224] # 可视化（文档第6.1节强调：必须用 <p> <a href="https://download.csdn.net/download/zhuzhi/91756220" style="color:#ec7500;font-size:14px;"> 本文还有配套的精品资源，点击获取 </a> <img alt="menu-r.4af5f7ec.gif" src="https://csdnimg.cn/release/wenkucmsfe/public/img/menu-r.4af5f7ec.gif" style="width:16px;margin-left:4px;vertical-align:text-bottom;cursor:text;"> </p>