英伟达发布双塔扩散语言模型，生成速度提升 2.42 倍

英伟达推出 Nemotron-Labs-TwoTower，一种基于预训练自回归骨干网络的离散扩散语言模型，旨在解决大模型 Token 生成速度瓶颈。该模型总参数为 60B，采用双塔架构，包括 30B 的自回归上下文塔和 30B 的扩散去噪塔，每个塔激活 3B 参数，128 个可路由专家。

双塔架构的核心创新在于将上下文表示与去噪过程分离到两个独立的神经网络中。上下文塔保持冻结，专注于维护文本的自回归上下文；去噪器塔负责对噪声块进行去噪，两者通过逐层交叉注意力连接协作。

据英伟达测试，双塔架构保留 98.7%的质量表现，但实际运行时间吞吐量提高了 2.42 倍。在 MMLU、ARC-Challenge 等多项基准测试中，模型性能与纯自回归模型相当，生成速度显著提升。该模型以开源权重形式在 Huggingface 平台发布。