Ollama 发布 0.19 预览版,采用苹果机器学习框架 MLX 重构 Apple Silicon 上的推理引擎,利用统一内存架构提升性能,并在 M5 系列芯片上调用 GPU 神经网络加速器,优化首 token 延迟和生成速度。
基准测试显示,在 M5 芯片运行 Qwen3.5-35B-A3B 模型(NVFP4 量化)时,解码速度从 58 tokens/s 提升至 112 tokens/s,接近翻倍;int4 精度下速度更优。新版本还支持 NVFP4 量化格式,升级缓存系统(跨会话复用、快照存储等),并适配 Claude Code,专为编程任务调优的模型需 32GB 以上内存的 Mac。
评论
正在加载评论…