Artificial Analysis 与 Liquid AI 联合推出一项面向手机端的 AI 跑分基准,重点关注 AI 模型在苹果 iPhone 17 Pro 上的表现。测试包含 5 项基准,如 BFCL、IFBench、AA-Omniscience、GPQA Diamond 和 MATH-500,覆盖函数调用、指令遵循、知识认知、高难度问答及数学问题。测试对象为 4bit 量化后体积不超过 8GB 的模型,示例包括 Gemma 4 E2B 和 LFM2-2.6B-Exp。
在上下文长度限制为 16K tokens 时,Nanbeige4.2-3B 和 LFM2.5-2.6B 得分最高。当响应时间限制为 1 分钟时,LFM2.5-8B-A1B 排名第一。Nanbeige4.2-3B 由 BOSS 直聘旗下南北阁实验室推出,采用 Looped Transformer 架构,通过复用 Transformer 层提升模型深度,总参数约 40 亿。
文中提及的 AI 工具
评论
正在加载评论…