ggml

ggml

想让 AI 模型在自己的设备上运行,可以用 ggml 提供底层计算,并按硬件条件选择模型量化和运行方式。

访问官网

ggml 是什么?

想做一个在电脑上运行的 AI 工具,又不想从头编写模型计算,可以从 ggml 这样的底层库开始。它为机器学习模型提供运算组件,llama.cpp 和 whisper.cpp 等项目就用它来运行语言模型和语音模型。

例如,开发者准备好模型结构和权重后,可以利用这些组件组织计算,再连接自己的聊天、转写或其他应用。用户看到的功能由上层软件提供,ggml 则负责其中的模型运算基础。

它支持量化,也就是用更紧凑的数字形式处理模型参数,帮助一些模型减少内存和存储占用。配合不同的硬件后端,开发者可以尝试让模型适应现有设备,再比较速度、资源使用和输出质量。

FindAIGo 认为,它适合做本地 AI 应用或设备端推理的开发团队,需要一定的 C / C++ 和模型开发基础。具体能运行哪些模型、给用户提供什么功能,要看采用 ggml 的项目如何实现。

加载中 / Loading

用户讨论

正在加载评论…