用户外接 iPhone 17 Pro Max 为 MacBook Pro 加速 AI 模型推理，预填充性能最高提升 44%

Qwen3.8-27B 是一款性能不错的人工智能模型，但在仅有 24GB 统一内存的 M4 Pro 版 MacBook Pro 上运行时，预填充速度受到明显限制。Reddit 用户通过 USB-C 接口将 iPhone 17 Pro Max 外接至该 Mac，借助自制开源软件分担运算任务，使 AI 模型预填充性能最高提升 44%。

该方案将模型按层拆分：Mac 负责每批 256 个 token 中第 1 至 40 层，再将激活值传输至手机端，由 iPhone 的 A19 Pro GPU 运行第 41 至 64 层，手机端 GPU 运算速度相比不使用 GPU 时提升约 2.4 倍。神经网络引擎同样参与运算，在 140K 上下文长度下单 token 写入耗时从 279 毫秒降至 176 毫秒。

实测显示，上下文为 8K 时预填充速度从每秒 132 个 token 提升至 177 个，增幅 35%；16K 时从 109 提升至 157，增幅 44%；32K 时从 101 提升至 130，增幅 29%。但该方案在 64K 以内场景下手机并不加速文本生成，生成工作仍由 Mac 完成。软件已在 GitHub 开源，项目名为 backburner。