llama.cpp 与 ggml 双双迈入 1.0.0 版本,明确 API 兼容性升级规则

llama.cpp 是主要用 C/C++编写的开源 AI 推理项目,可让大语言模型在个人电脑、服务器等不同硬件上运行,兼顾本地部署与云端服务。开发者 Georgi Gerganov 宣布,llama.cpp 与底层机器学习引擎 ggml 的库版本正式迈入 1.0.0。

本次更新的核心是明确接口兼容性规则:libllama 定位为 C/C++大模型推理库,libggml 为底层机器学习张量库。今后 API 或 ABI 不兼容的变化将通过主版本号升级标记,开发者可据此判断某次升级是否需要同步修改自己的应用。

在工程质量方面,团队借助 Hugging Face 的 HF Buckets、HF Jobs 扩展 CI 基础设施,并在英伟达、AMD、高通、Arm、IBM、英特尔的硬件支持下扩大跨平台测试。目前 llama.cpp 已支持超过 150 种模型架构变体及主流推测解码方法。

推广DomoAI
文中提及的 AI 工具

评论

正在加载评论…