傲腾是英特尔与美光共同开发的基于 3D XPoint 的非易失性存储技术,其持久内存 200 系列外形接近服务器内存条,单条提供 128GB 至 512GB 容量,面向第三代至强可扩展处理器平台设计,目前已停产。
一位 Reddit 网友分享了家庭实验室尝试,在不配备显卡的情况下,使用 40 核第三代英特尔至强可扩展处理器搭配傲腾持久内存 200 系列,以 App Direct 模式运行,并借助 llama.cpp 执行推理,成功跑通月之暗面 2.8 万亿参数的 Kimi K3 模型。
该尝试仍属测试性质,词元输出速度并不流畅:1 比特量化下初始生成速度约每秒 0.85 个词元,关闭 DAX 直接访问功能、让常用数据受益于 DRAM 缓存后提升至每秒 1.50 个词元;3 比特量化测试仅达每秒 0.75 个词元,生成 5 万个词元约需 18.5 小时。
评论
正在加载评论…