企业官网建设流程全解析

如何科学评估概念擦除效果？ESD项目LPIPS、风格损失、图像分类三大指标详解

【免费下载链接】erasingErasing Concepts from Diffusion Models项目地址: https://gitcode.com/gh_mirrors/er/erasing

如何判断一个扩散模型是否真正完成了"概念擦除"？只靠肉眼浏览几十张生成图远远不够。ESD项目（Erasing Concepts from Diffusion Models）为此内置了一套完整的评估工具链：LPIPS、风格损失、图像分类三大指标，分别从感知、风格、语义三个层面量化概念擦除效果。本文用最通俗的语言，为你逐一拆解这三个指标的原理、用法与判读方法，帮你做出一份可量化、可复现的评估报告。

一、先认识ESD项目：它能擦除什么？

ESD项目是发表于ICCV 2023的开源方案，通过对扩散模型（Stable Diffusion、SDXL、FLUX等）进行针对性微调，让模型"忘记"指定的视觉概念——既可以是梵高、莫奈等艺术风格，也可以是汽车、玩偶等物体，甚至是不安全内容（NSFW）。微调过程只需一句简短的概念文字描述作为引导，让模型从自身知识中学会"绕开"该概念。

上图清晰展示了三类典型应用：擦除裸体内容、擦除艺术风格、擦除指定物体。训练完成后，模型在相同提示词下生成的图片会避开这些概念，而其余生成能力基本不受影响。

二、为什么"擦没擦干净"必须科学评估？

概念擦除的效果很难凭感觉判断——一张图看起来"不像梵高风格"了，可能只是随机波动。因此ESD项目在evalscripts/目录下提供了标准化的评估脚本，用可量化的指标回答三个问题：

• ✅ 擦除后图像是否偏离了原模型？（LPIPS）
• ✅ 风格是否真的消失？（风格损失）
• ✅ 目标物体/类别是否不再出现？（图像分类）

下图展示了ESD微调的核心思路：冻结原始模型作为参照，微调模型在损失函数引导下，其输出逐步远离被擦除的概念。

三、三大评估指标详解

3.1 LPIPS：从人眼感知角度量化擦除程度

LPIPS（Learned Perceptual Image Patch Similarity）是目前公认最接近人眼判断的图像相似度指标。它用AlexNet提取两张图片的特征，再计算特征空间的距离，比传统PSNR、SSIM更能反映"看起来像不像"。

lpips_eval.py 会逐条读取提示词CSV中的case_number，把原始模型与ESD模型生成图一一配对，计算LPIPS分数并取平均。数值越低，说明擦除后的图像与原图越接近，即模型除目标概念外几乎没有"误伤"。

3.2 风格损失：用VGG19的Gram矩阵验证风格是否消失

风格擦除是ESD最经典的应用，而"风格"本身很难定义。styleloss.py 借鉴神经风格迁移的思路：用预训练VGG19提取图像的纹理统计信息（Gram矩阵），比较原始图像与擦除后图像在conv_1至conv_5层的风格差异，同时输出基于conv_4的内容损失，帮你判断画面主体结构是否保留。两者都为0时表示两张图完全一致。

上图是论文中的艺术风格擦除实验：左侧为原始模型输出，中间为ESD方法擦除对应艺术家风格后的结果，可以看到风格特征被有效去除，而场景主体依然完整。

3.3 图像分类：用ResNet50确认目标概念"退场"

imageclassify.py 使用预训练ResNet50对每张生成图分类，输出Top-1到Top-5的类别与置信度。如果擦除的是"磁带播放器（cassette player）"，那么擦除后模型的输出中该类别应当从Top-k榜单中消失——这是最直观、最有说服力的语义级证据。脚本会把每个case_number的识别结果与提示词表合并，输出一张完整的分类CSV。

四、一套完整的评估流程：从批量生成到自动打分

科学评估需要"同条件对比"：用相同提示词、相同随机种子，分别让原始模型和ESD模型生成图像。项目数据集已按此设计，例如 kelly_prompts.csv、vangogh_prompts.csv、small_imagenet_prompts.csv、unsafe-prompts4703.csv，每条记录包含case_number、prompt、evaluation_seed三个关键字段。

第一步：批量生成评估图像

用 generate-images.py 一键生成，脚本会自动识别ESD权重是针对unet还是transformer，同一套命令可通用于SD、SDXL、FLUX：

python evalscripts/generate-images.py \ --base_model 'stabilityai/stable-diffusion-xl-base-1.0' \ --esd_path 'esd-models/sdxl/esd-kelly-from-kelly.safetensors' \ --num_samples 1 \ --prompts_path 'data/kelly_prompts.csv' \ --num_inference_steps 20 --guidance_scale 7

第二步：跑三大评估脚本

分别对"原始模型生成图"和"ESD模型生成图"计算LPIPS与风格损失，再对擦除后的图做图像分类。以LPIPS为例：

python evalscripts/lpips_eval.py \ --original_path 'images/original' \ --edited_path 'images/esd-kelly' \ --prompts_path 'data/kelly_prompts.csv' \ --save_path './results'

评估结果会自动保存为CSV文件（如esd-kelly_lpipsloss.csv），每个提示词对应一行平均分，方便后续制图对比。推理示例还可参考notebooks/下的 esd_inference_sd.ipynb、esd_inference_sdxl.ipynb、esd_inference_flux.ipynb。

五、如何科学地解读评估结果？

• 📉 LPIPS与风格损失：数值越接近0越好，代表擦除过程"只动该动的"；若数值过大，说明模型整体能力受损，需要检查微调超参数。
• 🎯 图像分类：关注被擦除类别是否从Top-k中消失，同时观察其余类别是否保持稳定——这是"精准擦除"的最佳证明。
• 🛡️ NSFW场景：项目还提供了 nudenet-classes.py（配合NudeNet检测器），可量化擦除前后敏感部位标签的出现比例。

上图对比了ESD方法与SLD、Stable Diffusion 2.0/2.1等方案在敏感内容擦除上的表现：横轴为百分比变化，越靠左说明暴露部位减少越明显，直观展示了ESD方法在NSFW任务上的优势。

六、快速上手指南

git clone https://gitcode.com/gh_mirrors/er/erasing cd erasing pip install -r requirements.txt

训练好ESD模型（参考 esd_sd.py、esd_sdxl.py、esd_flux.py），再按上文流程生成图像、跑三大指标，你就能得到一份量化、可复现的概念擦除效果报告。

总结

概念擦除的效果不是"感觉"出来的，而是"测量"出来的。LPIPS管感知距离、风格损失管风格一致性、图像分类管语义消失，三者互为补充，构成一套完整的扩散模型概念擦除效果评估体系。下次评估ESD模型时，把这三个指标都跑一遍，让擦除效果一目了然。

【免费下载链接】erasingErasing Concepts from Diffusion Models项目地址: https://gitcode.com/gh_mirrors/er/erasing