苹果公司正与 AI 初创公司 PrismML 接洽,评估在 iPhone 上直接运行更大规模 AI 模型的可行性。PrismML 是加州理工的衍生公司,其核心技术为原生 1-bit 模型压缩,可将模型体积压缩至全精度版本的约 1/14,内存占用降低超 90%。
该技术权重仅用{-1, +1}表示,配合分组缩放因子,非传统量化,在保持接近 FP16 精度的同时,推理速度提升最高 8 倍,能耗降低 75%至 80%。PrismML 已成功将阿里巴巴开源模型 Qwen 3.6(27B 参数)精简并在 iPhone 17 Pro 上完整运行。
苹果看重 PrismML 的量化能力,希望进一步增强本地 AI 模型的推理性能,减少对云端依赖。此举可能推动端侧 AI 在 iPhone 上的应用,提升隐私保护和响应速度。
文中提及的 AI 工具
评论
正在加载评论…