☰
Qwen-Image-2.1-viggle-turbo速览:6步AI图像生成快5倍,画质竟难分伯仲
2026/10/30 6:33:19 网站建设 项目流程

Qwen-Image-2.1-viggle-turbo速览:6步AI图像生成快5倍,画质竟难分伯仲

Qwen-Image-2.1-viggle-turbo是一个构建在 Qwen-Image-2.1 大模型之上的少步蒸馏 LoRA 加速适配器:仅用6 步完成 AI 图像生成(基础模型需要 40 步),端到端快约 5 倍,同时支持 1–3 张参考图的指令式图像编辑,画质与 40 步基础模型"难分伯仲"。它还自带开箱即用的 ComfyUI 工作流,新手也能快速上手。

一、viggle-turbo 是什么?让 40 步模型"提前毕业"的 LoRA

由 Viggle 团队用**分布匹配蒸馏(DMD)**训练,本质是教一个"学生"模型把老师模型 40 步的采样过程压缩成 6 步:

  • 形态:LoRA 适配器,运行时加载到 Qwen-Image-2.1 的基础 transformer 上,不是独立的完整模型;
  • 速度:6 步 vs 40 步,且全程无需 CFG(无分类器引导),每一步只需一次前向计算,端到端快约 5 倍;
  • 能力:文生图(T2I)+ 指令驱动图像编辑(1–3 张参考图)双修。

官方在 96 条留出用户请求上,对比 v0.2.1(6 步)与基础模型(40 步):

指标v0.2.1 · 6 步含义
采样多样性(相对基础模型)0.98×换种子出的图和基础模型一样丰富
构图漂移+0.000主体摆放位置与基础模型一致
构图明显不同的提示词占比0%构图与基础模型同样稳定

早期 v0.1 版本存在"布局坍缩"问题,迭代到 v0.2.1 后基本消除,官方 32 组对比样例中多数提示词下两者肉眼难分。

二、仓库内容速览:该用哪个文件

文件说明
Qwen-Image-2.1-viggle-turbo-v0.2.1-6step-lora-r256.safetensors⭐ 当前版本 LoRA(rank 256,bf16,1.3 GB),官方推荐使用
Qwen-Image-2.1-viggle-turbo-v0.2.1-6step-lora-r128.safetensors压缩版 LoRA(rank 128,680 MB),与 r256 输出差异已接近噪声下限,ComfyUI 工作流默认用它
peft_v0.2.1/同一份 v0.2.1 权重的 peft 键格式,供 peft 用户直接加载
comfyui/ComfyUI 自定义节点 + 文生图/编辑两套工作流 + 示例输入图
scheduler/scheduler_config.json配套调度器配置(shift_terminal: null,6 步采样必须使用)
v0.2 / v0.1 系列文件仅为可复现性保留,无需选用

三、6步AI图像生成:6 条参数铁律

模型卡里最重要的部分(Rules that matter),新手照抄即可:

参数取值
num_inference_steps6
sigmas[1.0, 0.9375, 0.875, 0.75, 0.5, 0.25]
true_cfg_scale1.0(关闭 CFG)
负向提示词不填
LoRA 强度1.0(alpha=rank,不做缩放)
调度器用仓库自带的 scheduler/scheduler_config.json

💡改步数的小窍门:只允许在"高噪声端"增减步数。比如渲染密集小字的场景,改成 8 步(sigmas=[1, 0.9375, 0.875, 0.75, 0.625, 0.5, 0.25, 0.125])文字明显更清晰。千万不要动0.875 / 0.75 / 0.5 / 0.25这四个低噪声节点,否则整图会肉眼可见地变软。

四、两大用法:文生图 + 多图参考编辑

用法 1 · 文本生图(T2I):输入一段提示词即可。训练主力分辨率为 1024²、2048² 面积(如 1024×1024、1376×768 的 16:9、2048×1152 等)。建议开启官方提示词增强(PE)——学生模型正是用"增强后的提示词"做蒸馏目标的,开了 PE 构图更好。

用法 2 · 指令驱动编辑:一次传入 1–3 张参考图,在提示词中按顺序称呼它们image 1、image 2(即<image1>、<image2>),例如:"image 1 中的女人抱着 image 2 里的猫,保持 image 1 的背景"。仓库自带两张示例输入(位于 comfyui/input/):

⚠️ 参考图的顺序决定提示词中 image 1 / image 2 指谁;不指定输出尺寸时,diffusers 的宽高比跟随最后一张参考图(ComfyUI 中则跟随第一张)。

五、ComfyUI 快速安装步骤(零代码)

适合 ComfyUI 0.37.0+(已原生支持 Qwen-Image-2.1):

  1. 装自定义节点:把 comfyui/viggle_turbo.py 复制到ComfyUI/custom_nodes/并重启,新增两个节点:
    • Viggle Turbo Sigmas:按输出分辨率自动生成 6 步调度,替代 KSampler 自带调度器;
    • Viggle Turbo LoRA (unmerged):运行时以非合并方式施加 LoRA——默认 LoRA 加载器会把权重"合并进"基础权重,在 bf16 下会丢失约 30% 的 LoRA 更新量,所以必须用它(代价是每步多耗 10–25% 时间)。
  2. 拖入工作流:Qwen-Image-2.1-viggle-turbo-t2i.json(文生图)或 Qwen-Image-2.1-viggle-turbo-edit.json(编辑),均自带参数说明与提示词增强器。
  3. 摆放基础模型文件(工作流已内置下载链接):
ComfyUI 文件夹文件大小
diffusion_models/qwen_image_2.1_int8_convrot.safetensors(或 bf16 版)7.3 / 14.2 GB
text_encoders/qwen3vl_8b_int8_convrot.safetensors(或 bf16 版)9.4 / 17.5 GB
vae/qwen_image_2.1_vae_bf16.safetensors0.7 GB
loras/本仓库的 r128(或 r256)LoRA0.7 / 1.4 GB

📌 默认 int8 配置、模型全部驻留时,100 万像素图像峰值显存约26 GB;想要更宽裕就换 bf16 文件或降低显存占用。

六、Diffusers 代码用法(开发者向)

如果更喜欢写代码,三步走:装依赖 → 加载基础模型 + LoRA → 按 6 步调度采样:

pip install -U torch "transformers>=5.17,<6" accelerate safetensors peft pillow
from diffusers import QwenImage21Pipeline, FlowMatchEulerDiscreteScheduler import torch pipe = QwenImage21Pipeline.from_pretrained("Qwen/Qwen-Image-2.1", dtype=torch.bfloat16) pipe.load_lora_weights( "Viggle/Qwen-Image-2.1-viggle-turbo", weight_name="Qwen-Image-2.1-viggle-turbo-v0.2.1-6step-lora-r256.safetensors", ) pipe.scheduler = FlowMatchEulerDiscreteScheduler.from_pretrained( "Viggle/Qwen-Image-2.1-viggle-turbo", subfolder="scheduler" ) pipe.to("cuda") # 6 步 + 专属 sigmas,无负向提示词,true_cfg_scale=1.0 img = pipe(prompt="A studio portrait of an old fisherman mending a net.", height=1024, width=1024, num_inference_steps=6, sigmas=[1.0, 0.9375, 0.875, 0.75, 0.5, 0.25], true_cfg_scale=1.0).images[0]

注意:QwenImage21Pipeline尚未进入 diffusers 正式发行版,需安装 README 中指定的固定版本;文本编码器、VAE 与处理器不随本仓库分发,从 Qwen-Image-2.1 基础模型仓库加载。完整说明见 README.md。

克隆仓库查看全部资料:

git clone https://gitcode.com/hf_mirrors/Viggle/Qwen-Image-2.1-viggle-turbo

七、已知局限与许可证说明

坦诚的边界——以下场景 40 步基础模型仍然更强:

  • 复杂编辑:多参考图合成、换脸、证件类身份保持编辑仍可能出现重影或身份漂移;
  • 细小密集文字:乱码概率略高于基础模型(可临时切 8 步缓解);
  • 2K 输出目前仅做了目视对比,暂无量化指标。

⚖️许可证:本模型是 Qwen-Image-2.1 的衍生作品,遵循Qwen RESEARCH LICENSE AGREEMENT(见 LICENSE):仅限非商业用途(研究或评测);商用需单独获取授权,署名要求见 NOTICE。

总结

Qwen-Image-2.1-viggle-turbo 证明了"少步生成不必然牺牲画质":以 6 步采样 + 一份 1.3 GB 的 LoRA,换来端到端约5 倍的 AI 图像生成速度,而 96 条真实请求的对比显示,其多样性、构图稳定性几乎追平 40 步基础模型。日常文生图与简单编辑,它现在就是可落地的选择;面对复杂编辑和密集小字,可切 8 步或退回基础模型兜底。

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询