Raon-OpenTTS-1B初体验:KRAFTON开源1B零样本语音克隆TTS,性能比肩闭源SOTA
【免费下载链接】Raon-OpenTTS-1B项目地址: https://ai.gitcode.com/hf_mirrors/KRAFTON/Raon-OpenTTS-1B
Raon-OpenTTS-1B 是 KRAFTON 开源的零样本文本转语音(TTS)与语音克隆系统:仅需 10 亿参数,就在主流基准上比肩顶尖闭源模型。它不仅开放权重,还放出了 51 万+ 小时训练数据,是目前最完整的开源语音合成方案之一。本文带你快速了解它的核心亮点、模型参数与上手体验。
Raon-OpenTTS-1B 是什么:零样本语音克隆模型的核心亮点
Raon-OpenTTS-1B 基于 F5-TTS 的 DiT(Diffusion Transformer)架构,采用流匹配(flow matching)技术实现高效的零样本语音合成——给一段几秒的参考音频,就能克隆出该声音的音色、情绪与说话风格。
1. 🎯 全开放、可复现
- 模型权重 + 11 个英文数据集共 615K 小时训练数据全部公开
- 使用经 DNSMOS / WER / VAD 三重质量过滤的 Raon-OpenTTS-Core(510.1K 小时)训练
2. 🏆 性能比肩闭源 SOTA
- 在 Seed-TTS-Eval 与 CV3-Eval 上,WER 与 SIM 均位列近期零样本 TTS 模型第 1、2 名
- 匹敌使用"数百万小时"专有数据训练的系统
3. 🌪️ 跨声学环境稳健
- 在自建 Raon-OpenTTS-Eval(Clean / Noisy / Wild / Expressive 四种场景)中取得最佳平均 WER 与 SIM
Raon-OpenTTS-1B 完整参数:模型详情一览
| 项目 | 内容 |
|---|---|
| 参数量 | 1048M(1B) |
| 架构 | DiT(Diffusion Transformer),基于 F5-TTS |
| 架构参数 | dim=1408,depth=28,heads=24,text_dim=512,conv_layers=4 |
| 训练数据 | Raon-OpenTTS-Core(510.1K 小时英文语音) |
| 训练步数 | 520K 更新 |
| 训练硬件 | 48 块 NVIDIA B200 GPU |
| 音频规格 | 80 维 mel 谱,16kHz,hop=256 |
| 声码器 | HiFi-GAN(speechbrain/tts-hifigan-libritts-16kHz) |
以上配置对应仓库中的config.yaml文件,其中定义了模型名称、DiT backbone 架构、mel 谱与声码器等关键信息,可自行查看核对。
零样本 TTS 基准对比:距离闭源 SOTA 有多近?
Seed-TTS-Eval(精选)
| 模型 | 参数 | WER (%) ↓ | SIM ↑ |
|---|---|---|---|
| Seed-TTS(闭源) | - | 2.25 | 0.762 |
| CosyVoice 3 | 1.5B | 2.21 | 0.720 |
| Qwen3-TTS | 1.7B | 1.46 | 0.715 |
| F5-TTS | 0.3B | 2.04 | 0.671 |
| Raon-OpenTTS-1B | 1.0B | 1.78 | 0.749 |
SIM 表示与参考音频的相似度,越高说明克隆越像。人类基线为 0.734——Raon-OpenTTS-1B 的 0.749 甚至超越了真人水平。
CV3-Eval(精选)
| 模型 | CV3-EN WER ↓ | CV3-Hard-EN WER ↓ | SIM ↑ | DNSMOS ↑ |
|---|---|---|---|---|
| CosyVoice 3 | 4.96 | 10.77 | 0.740 | 3.98 |
| Qwen3-TTS | 4.52 | 7.89 | 0.666 | 3.87 |
| Raon-OpenTTS-1B | 3.92 | 6.15 | 0.775 | 3.85 |
可以看出:1B 规模、全开放数据训练出来的 Raon-OpenTTS-1B,在准确率与音色相似度上全面领先多数开源模型,与闭源旗舰同档。
快速下载与体验:模型仓库文件说明
仓库主要包含以下文件:
| 文件 | 说明 |
|---|---|
model_520000.pt | 模型权重(520K 步训练产出) |
config.yaml | 模型配置(DiT 架构参数、mel 谱与声码器设置) |
vocab.txt | 文本分词器词表 |
README.md | 官方文档:功能亮点、基准测试、模型详情 |
克隆仓库即可获取全部模型文件:
git clone https://gitcode.com/hf_mirrors/KRAFTON/Raon-OpenTTS-1B推理代码与完整使用教程请参考 KRAFTON 官方的 Raon-OpenTTS 代码仓库(README.md的 Inference 章节有指引说明)。
许可证与使用注意事项 ⚠️
- ⚖️ 许可证为CC BY-NC 4.0:需署名,且仅限非商业用途,商用前请确认
- 🗣️ 当前版本聚焦英文语音合成
- 📊 在 Raon-OpenTTS-Eval 综合评测中以 Overall WER 2.81 / SIM 0.695 全面领先 F5-TTS、CosyVoice 2/3 等开源模型
总结
Raon-OpenTTS-1B 用"全开放数据 + 1B 参数"证明了开源零样本语音克隆可以比肩闭源 SOTA。无论你是做 TTS 研究、语音克隆实验,还是个人项目,它都是当下最值得尝试的开源文本转语音模型之一——克隆仓库、按官方代码仓库的指引跑通推理,即可开始体验。
【免费下载链接】Raon-OpenTTS-1B项目地址: https://ai.gitcode.com/hf_mirrors/KRAFTON/Raon-OpenTTS-1B
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考