☰
如何在Yue2-3B-GGUF中加载album1921 LoRA:3步复现『灵魂流行抒情』的专属音色
2026/10/30 2:24:17 网站建设 项目流程

如何在Yue2-3B-GGUF中加载album1921 LoRA:3步复现『灵魂流行抒情』的专属音色

Yue2-3B-GGUF 是 Yue2-3B 文本生成音乐模型在 audio.cpp 中的原生 GGUF 实现,本教程带你用 3 步加载 album1921 LoRA 双适配器,快速复现「灵魂流行抒情」(soulful pop ballad)的专属音色,新手照着敲命令即可上手 🔊

为什么值得试:album1921 LoRA 是什么

album1921 是一个即拿即用(ready-to-use)的 YuE2 AR + NAR LoRA,基于 27 首、总时长 109.25 分钟的音乐语料训练而成,专门塑造「温暖女声 + 钢琴 + 弦乐 + 渐进式编曲」的灵魂流行抒情风格。

训练与验证的关键信息(来自 lora/README.md):

项目数值
训练方式lora.cpp,rank 32 / alpha 32,800 次更新
优化器AdamW,学习率1e-4,AR 学习率倍率0.25
验证环境audio.cpp v0.8.2(Vulkan),加载 196 个 AR + 196 个 NAR 投影
样例输出257.9 秒 48kHz 立体声 PCM24,seed 2718,cot=off

💡 注意:适配器只要加载就会持续生效,album1921触发词是用来把文本条件引导向所学风格的,不是开关。想"关掉"效果,直接不加载这两个适配器文件即可。

第 1 步:准备模型文件与 LoRA 适配器(一键下载)

先克隆仓库(约含 BF16/Q8_0/Q4_0 三种量化权重):

git clone https://gitcode.com/hf_mirrors/audio-cpp/Yue2-3B-GGUF

生成一首歌需要搭配以下文件(详见 README.md):

文件作用
yue2-3b-bf16.gguf主模型,BF16 全精度(效果最佳)
yue2-3b-q8_0.gguf主模型 Q8_0 量化,显存更省
yue2-vae-f32.gguf / yue2-vae-f16.gguf音频 VAE,配合主模型精度选择
sidecars/模型/生成配置与 Qwen 分词器(yue2-model-config.json、yue2-generation-config.json 等)
lora/album1921 LoRA 适配器(album1921_yue2_ar_r32.safetensors与album1921_yue2_nar_r32.safetensors)

下载的适配器可用 lora/SHA256SUMS 校验完整性。

第 2 步:加载双适配器并运行生成命令

album1921 是AR + NAR 双适配器,必须两个都传,推荐 scale 均为1.0:

  • AR 适配器 → 传参yue2.ar_lora
  • NAR 适配器 → 传参yue2.nar_lora

完整生成命令如下(<AUDIOCPP>和<YUE2_GGUF>替换为你的实际路径):

<AUDIOCPP>/build/debug/bin/audiocpp_cli \ --task gen \ --family yue2 \ --model <YUE2_GGUF> \ --backend cuda \ --threads 8 \ --text $'[Verse]\nThe harbor keeps the dawn for anyone who stays.\n[Chorus]\nI am still here singing as the harbor meets the dawn.' \ --request-option 'style=album1921, soulful pop ballad, resilient, female vocal, warm powerful alto, piano, electric guitar, bass, live drums, strings, gradual build, modern studio' \ --request-option cot=off \ --request-option seed=2718 \ --request-option num_inference_steps=8 \ --session-option yue2.model_gguf=yue2-3b-bf16.gguf \ --session-option yue2.vae_gguf=yue2-vae-f32.gguf \ --session-option yue2.ar_lora=album1921_yue2_ar_r32.safetensors \ --session-option yue2.nar_lora=album1921_yue2_nar_r32.safetensors \ --out album1921_demo.wav \ --log

⚡ 三个出效果最快的要点:

  1. style 行必须以album1921开头,再接风格描述词(官方推荐写法见 lora/samples/harbor-keeps-the-dawn-style.txt)
  2. cot=off(直接生成)是官方验证过的配置;想加完整规划可换cot=full
  3. 固定seed便于对照复现,官方样例使用 seed 2718

第 3 步:对照官方样例验证你的音色

仓库内置了一份验证过的参考成品:lora/samples/harbor-keeps-the-dawn-cot-off.wav(257.9 秒,自然收尾无截断,FFmpeg 扫描确认无超过 1 秒的静音段)。

对应歌词与风格文件也一并提供:

  • 歌词:lora/samples/harbor-keeps-the-dawn-lyrics.txt
  • 风格行:lora/samples/harbor-keeps-the-dawn-style.txt
  • 训练指标:lora/training-metrics.json(联合损失从 5.52 降到 4.57,AR 交叉熵从 4.53 降到 3.52)

🎧 验证方法很简单:用同一份歌词、同一组参数跑一遍,把输出与参考 WAV 对比——听感上应呈现温暖有力的高音女声、钢琴与弦乐铺底、由弱渐强的编曲推进。

常见问题速查(避坑指南)

Q1:为什么加载了 LoRA 但风格变化不明显?style 行没有以album1921开头。触发词负责"引导"文本条件,漏写就会大幅削弱风格效果。

Q2:可以用量化模型跑 LoRA 吗?官方验证的是BF16 GGUF + Vulkan推理,量化基座推理未做测试;建议优先用yue2-3b-bf16.gguf保证效果一致,显存紧张时再尝试 Q8_0。

Q3:audio.cpp 版本有要求吗?LoRA 支持自 audio.cpprelease 0.8.1起加入,验证环境为 v0.8.2,请确保你的版本不低于 0.8.1。

Q4:AR/NAR 只加载一个行不行?不建议。适配器按 AR + NAR 双文件配对训练(rank 32),只加载一半无法复现官方音色。

参考资料

  • 主仓库说明与生成 Demo 命令:README.md
  • LoRA 完整文档(文件表 / 训练细节 / 验证过程):lora/README.md
  • 生成参数默认值:sidecars/yue2-generation-config.json
  • 官方 WebUI 演示视频:examples/yue2_demo.mp4

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询