芯展速 AI90 方案将 SSD 纳入显存体系，首 Token 延迟降低 50 倍

芯展速（GenStorAIGE）在 WAIC 2026 展出 AI90 软硬件一体化 AI 推理加速方案。该方案将高性能 SSD 纳入 GPU 显存体系，将 KV Cache 卸载到固态硬盘上，形成 HBM+DRAM+SSD 三级存储体系，旨在解决大模型推理中的显存瓶颈。

这一方案可将首 Token 延迟从秒级降低至亚秒级，提速 50 倍；吞吐量提升 5.1 倍；显存节省 39%。结合智能 P2P 多卡互联技术，AI90 让 8 卡 NVIDIA GeForce RTX 5090 集群推理加速达 5.8 倍，支持 128K+上下文。

为满足 KV Cache 卸载带来的高写入负载，芯展速同步推出 PT200Z AI SSD。该 SSD 基于 pSLC 闪存介质，采用 PCIe Gen5 接口，DWPD 最高达 100，顺序读取 14.8GB/s，随机读取 3100K IOPS，读取时延 54μs，写入时延 10μs。