英伟达发布 Audex 统一音频-文本大语言模型，参数规模 30B

英伟达于今年 6 月发表论文，推出 Audex（Nemotron-Labs-Audex-30B-A3B）统一音频-文本大语言模型。该模型总参数量 30B，激活参数 3B，旨在保留核心文本智能的同时，理解和生成音频与语音。

Audex 的骨干模型为 Nemotron-Cascade-2-30B-A3B，采用 52 层混合 Mamba-Transformer 结构，包含 128 个可路由专家，每次激活 6 个专家。模型设计重点在于避免多模态扩展后文本能力下滑。

在音频处理上，Audex 使用 AF-Whisper 编码器处理 16kHz 输入，并通过两层 MLP 适配器映射特征。语音输出采用 X-Codec2 编解码器，速率为每秒 50 个标记。文本评测方面，Audex 在 MMLU-Redux 上得分 86.4，高于骨干模型的 86.3，但在 MMLU-Pro 与 GPQA-Diamond 上出现小幅下降。