Raon-OpenTTS-1B初体验:KRAFTON开源1B零样本语音克隆TTS,性能比肩闭源SOTA
2026/8/26 15:43:32 网站建设 项目流程

Raon-OpenTTS-1B初体验:KRAFTON开源1B零样本语音克隆TTS,性能比肩闭源SOTA

【免费下载链接】Raon-OpenTTS-1B项目地址: https://ai.gitcode.com/hf_mirrors/KRAFTON/Raon-OpenTTS-1B

Raon-OpenTTS-1B 是 KRAFTON 开源的零样本文本转语音(TTS)与语音克隆系统:仅需 10 亿参数,就在主流基准上比肩顶尖闭源模型。它不仅开放权重,还放出了 51 万+ 小时训练数据,是目前最完整的开源语音合成方案之一。本文带你快速了解它的核心亮点、模型参数与上手体验。

Raon-OpenTTS-1B 是什么:零样本语音克隆模型的核心亮点

Raon-OpenTTS-1B 基于 F5-TTS 的 DiT(Diffusion Transformer)架构,采用流匹配(flow matching)技术实现高效的零样本语音合成——给一段几秒的参考音频,就能克隆出该声音的音色、情绪与说话风格。

1. 🎯 全开放、可复现

  • 模型权重 + 11 个英文数据集共 615K 小时训练数据全部公开
  • 使用经 DNSMOS / WER / VAD 三重质量过滤的 Raon-OpenTTS-Core(510.1K 小时)训练

2. 🏆 性能比肩闭源 SOTA

  • 在 Seed-TTS-Eval 与 CV3-Eval 上,WER 与 SIM 均位列近期零样本 TTS 模型第 1、2 名
  • 匹敌使用"数百万小时"专有数据训练的系统

3. 🌪️ 跨声学环境稳健

  • 在自建 Raon-OpenTTS-Eval(Clean / Noisy / Wild / Expressive 四种场景)中取得最佳平均 WER 与 SIM

Raon-OpenTTS-1B 完整参数:模型详情一览

项目内容
参数量1048M(1B)
架构DiT(Diffusion Transformer),基于 F5-TTS
架构参数dim=1408,depth=28,heads=24,text_dim=512,conv_layers=4
训练数据Raon-OpenTTS-Core(510.1K 小时英文语音)
训练步数520K 更新
训练硬件48 块 NVIDIA B200 GPU
音频规格80 维 mel 谱,16kHz,hop=256
声码器HiFi-GAN(speechbrain/tts-hifigan-libritts-16kHz)

以上配置对应仓库中的config.yaml文件,其中定义了模型名称、DiT backbone 架构、mel 谱与声码器等关键信息,可自行查看核对。

零样本 TTS 基准对比:距离闭源 SOTA 有多近?

Seed-TTS-Eval(精选)

模型参数WER (%) ↓SIM ↑
Seed-TTS(闭源)-2.250.762
CosyVoice 31.5B2.210.720
Qwen3-TTS1.7B1.460.715
F5-TTS0.3B2.040.671
Raon-OpenTTS-1B1.0B1.780.749

SIM 表示与参考音频的相似度,越高说明克隆越像。人类基线为 0.734——Raon-OpenTTS-1B 的 0.749 甚至超越了真人水平。

CV3-Eval(精选)

模型CV3-EN WER ↓CV3-Hard-EN WER ↓SIM ↑DNSMOS ↑
CosyVoice 34.9610.770.7403.98
Qwen3-TTS4.527.890.6663.87
Raon-OpenTTS-1B3.926.150.7753.85

可以看出:1B 规模、全开放数据训练出来的 Raon-OpenTTS-1B,在准确率与音色相似度上全面领先多数开源模型,与闭源旗舰同档。

快速下载与体验:模型仓库文件说明

仓库主要包含以下文件:

文件说明
model_520000.pt模型权重(520K 步训练产出)
config.yaml模型配置(DiT 架构参数、mel 谱与声码器设置)
vocab.txt文本分词器词表
README.md官方文档:功能亮点、基准测试、模型详情

克隆仓库即可获取全部模型文件:

git clone https://gitcode.com/hf_mirrors/KRAFTON/Raon-OpenTTS-1B

推理代码与完整使用教程请参考 KRAFTON 官方的 Raon-OpenTTS 代码仓库(README.md的 Inference 章节有指引说明)。

许可证与使用注意事项 ⚠️

  • ⚖️ 许可证为CC BY-NC 4.0:需署名,且仅限非商业用途,商用前请确认
  • 🗣️ 当前版本聚焦英文语音合成
  • 📊 在 Raon-OpenTTS-Eval 综合评测中以 Overall WER 2.81 / SIM 0.695 全面领先 F5-TTS、CosyVoice 2/3 等开源模型

总结

Raon-OpenTTS-1B 用"全开放数据 + 1B 参数"证明了开源零样本语音克隆可以比肩闭源 SOTA。无论你是做 TTS 研究、语音克隆实验,还是个人项目,它都是当下最值得尝试的开源文本转语音模型之一——克隆仓库、按官方代码仓库的指引跑通推理,即可开始体验。

【免费下载链接】Raon-OpenTTS-1B项目地址: https://ai.gitcode.com/hf_mirrors/KRAFTON/Raon-OpenTTS-1B

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询