Qwen-Image-2.1-viggle-turbo速览:6步AI图像生成快5倍,画质竟难分伯仲
Qwen-Image-2.1-viggle-turbo是一个构建在 Qwen-Image-2.1 大模型之上的少步蒸馏 LoRA 加速适配器:仅用6 步完成 AI 图像生成(基础模型需要 40 步),端到端快约 5 倍,同时支持 1–3 张参考图的指令式图像编辑,画质与 40 步基础模型"难分伯仲"。它还自带开箱即用的 ComfyUI 工作流,新手也能快速上手。
一、viggle-turbo 是什么?让 40 步模型"提前毕业"的 LoRA
由 Viggle 团队用**分布匹配蒸馏(DMD)**训练,本质是教一个"学生"模型把老师模型 40 步的采样过程压缩成 6 步:
- 形态:LoRA 适配器,运行时加载到 Qwen-Image-2.1 的基础 transformer 上,不是独立的完整模型;
- 速度:6 步 vs 40 步,且全程无需 CFG(无分类器引导),每一步只需一次前向计算,端到端快约 5 倍;
- 能力:文生图(T2I)+ 指令驱动图像编辑(1–3 张参考图)双修。
官方在 96 条留出用户请求上,对比 v0.2.1(6 步)与基础模型(40 步):
| 指标 | v0.2.1 · 6 步 | 含义 |
|---|---|---|
| 采样多样性(相对基础模型) | 0.98× | 换种子出的图和基础模型一样丰富 |
| 构图漂移 | +0.000 | 主体摆放位置与基础模型一致 |
| 构图明显不同的提示词占比 | 0% | 构图与基础模型同样稳定 |
早期 v0.1 版本存在"布局坍缩"问题,迭代到 v0.2.1 后基本消除,官方 32 组对比样例中多数提示词下两者肉眼难分。
二、仓库内容速览:该用哪个文件
| 文件 | 说明 |
|---|---|
| Qwen-Image-2.1-viggle-turbo-v0.2.1-6step-lora-r256.safetensors | ⭐ 当前版本 LoRA(rank 256,bf16,1.3 GB),官方推荐使用 |
| Qwen-Image-2.1-viggle-turbo-v0.2.1-6step-lora-r128.safetensors | 压缩版 LoRA(rank 128,680 MB),与 r256 输出差异已接近噪声下限,ComfyUI 工作流默认用它 |
| peft_v0.2.1/ | 同一份 v0.2.1 权重的 peft 键格式,供 peft 用户直接加载 |
| comfyui/ | ComfyUI 自定义节点 + 文生图/编辑两套工作流 + 示例输入图 |
| scheduler/scheduler_config.json | 配套调度器配置(shift_terminal: null,6 步采样必须使用) |
| v0.2 / v0.1 系列文件 | 仅为可复现性保留,无需选用 |
三、6步AI图像生成:6 条参数铁律
模型卡里最重要的部分(Rules that matter),新手照抄即可:
| 参数 | 取值 |
|---|---|
num_inference_steps | 6 |
sigmas | [1.0, 0.9375, 0.875, 0.75, 0.5, 0.25] |
true_cfg_scale | 1.0(关闭 CFG) |
| 负向提示词 | 不填 |
| LoRA 强度 | 1.0(alpha=rank,不做缩放) |
| 调度器 | 用仓库自带的 scheduler/scheduler_config.json |
💡改步数的小窍门:只允许在"高噪声端"增减步数。比如渲染密集小字的场景,改成 8 步(sigmas=[1, 0.9375, 0.875, 0.75, 0.625, 0.5, 0.25, 0.125])文字明显更清晰。千万不要动0.875 / 0.75 / 0.5 / 0.25这四个低噪声节点,否则整图会肉眼可见地变软。
四、两大用法:文生图 + 多图参考编辑
用法 1 · 文本生图(T2I):输入一段提示词即可。训练主力分辨率为 1024²、2048² 面积(如 1024×1024、1376×768 的 16:9、2048×1152 等)。建议开启官方提示词增强(PE)——学生模型正是用"增强后的提示词"做蒸馏目标的,开了 PE 构图更好。
用法 2 · 指令驱动编辑:一次传入 1–3 张参考图,在提示词中按顺序称呼它们image 1、image 2(即<image1>、<image2>),例如:"image 1 中的女人抱着 image 2 里的猫,保持 image 1 的背景"。仓库自带两张示例输入(位于 comfyui/input/):
⚠️ 参考图的顺序决定提示词中 image 1 / image 2 指谁;不指定输出尺寸时,diffusers 的宽高比跟随最后一张参考图(ComfyUI 中则跟随第一张)。
五、ComfyUI 快速安装步骤(零代码)
适合 ComfyUI 0.37.0+(已原生支持 Qwen-Image-2.1):
- 装自定义节点:把 comfyui/viggle_turbo.py 复制到
ComfyUI/custom_nodes/并重启,新增两个节点:- Viggle Turbo Sigmas:按输出分辨率自动生成 6 步调度,替代 KSampler 自带调度器;
- Viggle Turbo LoRA (unmerged):运行时以非合并方式施加 LoRA——默认 LoRA 加载器会把权重"合并进"基础权重,在 bf16 下会丢失约 30% 的 LoRA 更新量,所以必须用它(代价是每步多耗 10–25% 时间)。
- 拖入工作流:Qwen-Image-2.1-viggle-turbo-t2i.json(文生图)或 Qwen-Image-2.1-viggle-turbo-edit.json(编辑),均自带参数说明与提示词增强器。
- 摆放基础模型文件(工作流已内置下载链接):
| ComfyUI 文件夹 | 文件 | 大小 |
|---|---|---|
diffusion_models/ | qwen_image_2.1_int8_convrot.safetensors(或 bf16 版) | 7.3 / 14.2 GB |
text_encoders/ | qwen3vl_8b_int8_convrot.safetensors(或 bf16 版) | 9.4 / 17.5 GB |
vae/ | qwen_image_2.1_vae_bf16.safetensors | 0.7 GB |
loras/ | 本仓库的 r128(或 r256)LoRA | 0.7 / 1.4 GB |
📌 默认 int8 配置、模型全部驻留时,100 万像素图像峰值显存约26 GB;想要更宽裕就换 bf16 文件或降低显存占用。
六、Diffusers 代码用法(开发者向)
如果更喜欢写代码,三步走:装依赖 → 加载基础模型 + LoRA → 按 6 步调度采样:
pip install -U torch "transformers>=5.17,<6" accelerate safetensors peft pillowfrom diffusers import QwenImage21Pipeline, FlowMatchEulerDiscreteScheduler import torch pipe = QwenImage21Pipeline.from_pretrained("Qwen/Qwen-Image-2.1", dtype=torch.bfloat16) pipe.load_lora_weights( "Viggle/Qwen-Image-2.1-viggle-turbo", weight_name="Qwen-Image-2.1-viggle-turbo-v0.2.1-6step-lora-r256.safetensors", ) pipe.scheduler = FlowMatchEulerDiscreteScheduler.from_pretrained( "Viggle/Qwen-Image-2.1-viggle-turbo", subfolder="scheduler" ) pipe.to("cuda") # 6 步 + 专属 sigmas,无负向提示词,true_cfg_scale=1.0 img = pipe(prompt="A studio portrait of an old fisherman mending a net.", height=1024, width=1024, num_inference_steps=6, sigmas=[1.0, 0.9375, 0.875, 0.75, 0.5, 0.25], true_cfg_scale=1.0).images[0]注意:
QwenImage21Pipeline尚未进入 diffusers 正式发行版,需安装 README 中指定的固定版本;文本编码器、VAE 与处理器不随本仓库分发,从 Qwen-Image-2.1 基础模型仓库加载。完整说明见 README.md。
克隆仓库查看全部资料:
git clone https://gitcode.com/hf_mirrors/Viggle/Qwen-Image-2.1-viggle-turbo七、已知局限与许可证说明
坦诚的边界——以下场景 40 步基础模型仍然更强:
- 复杂编辑:多参考图合成、换脸、证件类身份保持编辑仍可能出现重影或身份漂移;
- 细小密集文字:乱码概率略高于基础模型(可临时切 8 步缓解);
- 2K 输出目前仅做了目视对比,暂无量化指标。
⚖️许可证:本模型是 Qwen-Image-2.1 的衍生作品,遵循Qwen RESEARCH LICENSE AGREEMENT(见 LICENSE):仅限非商业用途(研究或评测);商用需单独获取授权,署名要求见 NOTICE。
总结
Qwen-Image-2.1-viggle-turbo 证明了"少步生成不必然牺牲画质":以 6 步采样 + 一份 1.3 GB 的 LoRA,换来端到端约5 倍的 AI 图像生成速度,而 96 条真实请求的对比显示,其多样性、构图稳定性几乎追平 40 步基础模型。日常文生图与简单编辑,它现在就是可落地的选择;面对复杂编辑和密集小字,可切 8 步或退回基础模型兜底。
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考