4000 亿参数大模型成功在 iPhone 17 Pro 运行，开源项目 Flash-MoE 实现突破

通常 4000 亿参数的大语言模型需要至少 200GB 内存，难以在手机上运行。但开源项目 Flash-MoE 成功在仅 12GB 内存的 iPhone 17 Pro 上实现运行。

该项目利用设备固态硬盘向 GPU 流式传输数据，结合混合专家模型（MoE）技术，生成每个单词仅调用部分参数。不过运行速度较慢，仅 0.6 个 Token/秒，且会消耗大量电池，但这证明手机端本地运行大模型的可能性，未来优化后或更实用。