OpenAI 在 Hot Chips 大会上公布了自研推理芯片 Jalapeño 的细节和基准测试成绩。在 SemiAnalysis 的 InferenceX 测试中,Jalapeño 的单用户 token 处理量和每千瓦吞吐量均超过当前顶尖推理处理器,包括英伟达 GB200 和 GB300 超级芯片。OpenAI 硬件负责人理查德·何表示,该芯片能以相同电力处理更多 AI 工作负载,同时保持低延迟。
Jalapeño 由 OpenAI 与博通合作开发,主要针对 AI 推理任务,优化了预填充和通信阶段的性能瓶颈。测试显示,在 GPT-OSS 120B、DeepSeek R1 和 Kimi K2.5 1T 模型上,其每瓦 AI 工作量是对比系统的 1.5 至 1.9 倍,端到端延迟仅为后者的 28%至 59%。
OpenAI 计划今年年底前小规模部署 Jalapeño,2027 年逐步扩大规模。该芯片旨在成为多代延续的技术平台,推动 AI 产品、模型和硬件的协同设计。
文中提及的 AI 工具
评论
正在加载评论…