开源项目 Garlic LLM 让越狱版 PlayStation 4 在离线状态下运行 90 亿参数本地大模型,最高生成速度达每秒 43 个词元。开发者绕过原有游戏图形驱动,直接调用 AMD GCN 架构 GPU,使游戏主机承担 AI 推理任务。
项目采用阿里巴巴 Qwen3.5-9B 模型基座,将权重压缩为 3 位或 4 位量化格式,整体约 4.5 GiB,并用推测解码提升效率。普通文本生成约每秒 31 至 39 个词元,生成代码最高每秒 43 个词元,上下文窗口约 16,000 个词元。它还支持语音输入与对话,但启用后文本生成速度降至约每秒 22 个词元。
评论
正在加载评论…