开发者开源 Strata 引擎：12GB 显存显卡可运行 1250 亿参数大模型

千亿参数大模型通常依赖数据中心级硬件，消费级显卡显存有限，本地运行门槛较高。开发者 Niko1221 开源推出 Strata 引擎，可在 12GB 及以上显存的消费级显卡上运行量化版 Qwen3.8-Flash-Next 模型。该模型为阿里巴巴 Qwen 团队推出的多模态混合专家模型压缩版，拥有 1250 亿参数。

Strata 采用两项技术降低显存占用：将 MoE 模型整体载入内存，仅把高频使用的专家模型载入显存；并利用轻量模型进行投机解码，加速推理。

实测中，在 RTX 5070（12GB 显存）配置下，2 比特量化版达到 94 词元/秒的生成速度；AMD RX 9070 XT（16GB 显存）上为 60 词元/秒。运行需 32GB 以上内存与 80GB 存储空间，支持 Windows 和 Linux 系统，代码已在 GitHub 开源。