英伟达以全栈协同设计破解 AI 内存瓶颈，每美元智能体吞吐量最高提升 30 倍

随着大模型参数规模、上下文长度和智能体应用快速增长，GPU 显存正承受空前压力，HBM 供应趋紧、价格上升的态势预计仍将持续。

为破解内存瓶颈，英伟达提出“全栈协同设计”理念，将 GPU、CPU、网络、存储和软件作为整体设计：NVFP4 低精度格式压缩模型权重和 KV 缓存，NVL72 系统将权重分散至最多 72 颗 GPU，Vera CPU 大容量内存提供就近缓冲，Dynamo 软件迁移不活跃上下文。

英伟达援引 SemiAnalysis AgentX 基准称，每用户每秒 125 token 条件下，Vera Rubin NVL72 相较 GB300 NVL72 每美元智能体吞吐量最高提升 30 倍，而每 GPU 的 HBM 容量仅增加约 3%。

这表明 AI 算力竞争的关键正从显存规模转向每字节、每瓦特的有效产出。