人工智能实验室 PrismML 推出三值量化版本 Bonsai 2 27B,将基础模型升级至 Qwen3.8 27B,在推理、编程、视觉和长程智能体等能力上全面提升。
该模型以不到基础模型九分之一的内存占用,在综合基准测试中取得 98.2% 的分数,整体表现优于 Qwen3.6 27B。模型总大小仅 5.9GB,每个权重有效比特为 1.76,支持 262K 上下文窗口。
在 NVIDIA GeForce RTX 5090 上,词元吞吐量达 143TPS;在 Apple Silicon M5 Max 上为 46.8TPS。RTX 4090 上的能效为 0.714mWh/Token,比全精度 8B 模型低 40%。
该模型可通过 CUDA 在 NVIDIA GPU 上运行,也可通过 MLX 在 Apple 设备上运行,并以 Apache 2.0 许可证开放权重。
评论
正在加载评论…