在苹果 WWDC 2026 期间,LM Studio 与苹果合作,通过四台 Mac Studio 组成的集群成功运行了月之暗面的万亿参数大模型 Kimi K2.6。该集群总统一内存容量约 1.5TB,采用苹果内存共享和互联技术,满足了大规模模型的推理需求。
Kimi K2.6 总参数规模达 1 万亿,采用 MoE 架构,激活参数 320 亿,支持长上下文、多模态输入及智能体任务。演示中,用户可通过 LM Link 功能,从 MacBook Neo 和 iPhone 上安全远程访问集群上的模型,数据和通信保持本地化处理。
开发者测试显示,类似配置下 Kimi K2.6 生成速度约 28 tokens/s,功耗低于传统 GPU 集群。LM Studio 作为本地 AI 模型运行平台,此次合作展示了在消费级硬件上部署大型开源模型的潜力,凸显了苹果生态在 AI 本地化部署方面的技术进展。
评论
正在加载评论…