YouTube 频道 Jun Yamog 实测将 4 张 2017 年发布的英伟达 Tesla V100 数据中心 GPU 装上 NVLink 载板,对比 M5 Ultra 与 2 台 DGX Spark 的推理速度。
用 4-bit 量化的 Qwen3.8-Flash-Next 模型测试,长提示处理 V100 集群较 M5 Ultra 快 230%,较 2 台 DGX Spark 快 40%;短提示处理分别领先 163%和 40%。
V100 基于 Volta 架构,32GB 版 HBM2 显存带宽达 900GB/s;NVLink 载板提供 300GB/s 互联,可缓解多卡通信瓶颈。测试者认为与 Apple Silicon 的差距部分源于软件优化不足。
短提示 Token 生成中,V100 集群达 100.6 tok/s,M5 Ultra 为 44.5 tok/s,旧款数据中心 GPU 仍具较高吞吐能力。
文中提及的 AI 工具
评论
正在加载评论…