Jack Dorsey 推荐 mesh-llm：闲置 GPU 可组成去中心化推理网络

想运行大模型却因显卡内存不足发愁？Twitter 与 Block 联合创始人 Jack Dorsey 推荐的 mesh-llm 或许能解决。该工具将闲置 GPU 组成点对点网络，协同运行开源大模型，由 Block 工程师开发，属 Goose 生态，MIT 许可证。

mesh-llm 自动适配运行方式：Dense 模型分层切分并行，MoE 模型按专家分片，节点间零流量。实测 GLM-4.7-Flash 单机 68 tok/s，2 节点 WiFi 降至 21 tok/s，但对仅持 24GB 显卡想跑 142GB 大模型的用户，它让“能跑”成为可能。

技术可行因推理与训练通信模式不同：推理仅传激活值，通信量低且延迟不影响 token 速度，训练则需同步梯度，带宽要求更高。