企业官网建设流程全解析

【导语：近日，NVIDIA 研究团队开源名为 Nemotron-Labs-Audex-30B-A3B（简称 Audex）的统一音频 - 文本大语言模型。它设计简洁高效，训练数据海量，在多任务中表现出色。】

简洁架构实现多模态深度融合

Audex 基于纯文本 MoE（混合专家模型）架构构建，采用单一的 Transformer 解码器。这种设计实现了文本与量化音频 token 的统一处理，让音频输入能平滑投影到文本嵌入空间，还确保与现有 LLM 基础设施无缝兼容，达成真正的深度融合。

海量数据铸就出色性能

研究团队为训练 Audex 整理了海量数据，其中包含 1574 亿音频 token 和 3205 亿文本 token。通过多阶段的监督训练、纯文本 Cascade RL（强化学习）以及多域在策略知识蒸馏，使得 Audex 在各项指标上表现优异。

多任务领先且保留核心能力

Audex 在音频理解、语音识别、翻译以及音频生成等任务中达到了行业领先水平。同时，它几乎完美保留了原版 LLM 在推理、对齐、知识储备及长文本处理方面的核心能力，性能衰退微乎其微。

编辑观点：Audex 的开源为音频 - 文本处理领域带来新突破，其架构和训练方式值得借鉴，有望推动多模态大模型的进一步发展。