Penguin Solutions 推出业界首款 CXL 技术 KV Cache 服务器 助力 AI 推理效率提升

Penguin Solutions 近日推出业界首款采用 CXL 技术的量产型 KV Cache 服务器。该服务器整合 3TB DDR5 系统主内存与 8 个 1TB CXL 内存 AIC 模块，可为 AI 推理负载提供总计 11TB 的海量内存空间。

Penguin 指出，AI 推理工作负载与模型训练/调优不同，通常 30%依赖算力，70%依赖内存，延迟表现直接影响用户体验。这款 MemoryAI KV Cache 服务器能降低延迟、缩短首 Token 响应时间、提升吞吐量及 XPU 集群利用率，满足实时金融分析、海量数据集 RAG 等企业级任务的严苛需求。