AI 公司 PrismML 发布 Ternary Bonsai 2 系列模型,包含 2B、4B 和 9B 三种规模,目标是在手机、PC 及可穿戴设备上本地运行 AI 智能体,执行推理、识图、调用工具等任务。
该系列基于阿里的 Qwen 3.5 基座构建,采用三元权重表示法,仅用-1、0、+1 三种数值编码模型参数,三种规模的存储占用分别约为 0.43GB、0.95GB 和 2GB。
在 19 项基准测试中,9B 模型执行标准指令和日常数学任务所需词元约减少 40%;在 RTX 4090 等硬件上,新模型较全精度版本最高实现 5 倍吞吐量与 3 倍能效,iPhone 18 Pro Max 上 9B 模型每秒可处理 34 个词元。
开发者可通过 llama.cpp 或 MLX 在 GPU、Mac 及 iPhone 上部署,权重以 Apache 2.0 许可证开放,与已有的 Bonsai 2 27B 组成完整产品线。
文中提及的 AI 工具
评论
正在加载评论…