月之暗面开源 2.8 万亿参数 Kimi K3 模型

月之暗面正式开源了 Kimi K3 模型，这是一个拥有 2.8 万亿参数的大规模 AI 模型。该模型基于 KDA 混合线性注意力机制构建，原生支持视觉理解，并具备 100 万 token 的上下文窗口。官方表示，Kimi K3 是首个达到此规模的开源模型，在过去 12 个月中的 9 个月里，Kimi 模型都保持着开源模型的规模上限。

Kimi K3 采用了 Mixture of Experts（MoE）架构，能高效激活 896 个专家中的 16 个。结合训练方法和数据配方的优化，其整体扩展效率相比前代 K2 提升约 2.5 倍。该模型擅长长程编码任务，能在极少人工监督下处理大型代码库和协调终端工具，并适用于游戏开发、前端设计等结合视觉推理的场景。

官方同时开源了支撑 Kimi K3 训练的三项基础设施技术：MoonEP、FlashKDA 和 AgentEnv，覆盖高性能通信、算子和分布式强化学习环境。尽管 Kimi K3 的整体表现仍落后于最强的闭源模型，但在评测中展现出前沿水平，并稳定超越了其他所有模型。