ggml 是什么?
想做一个在电脑上运行的 AI 工具,又不想从头编写模型计算,可以从 ggml 这样的底层库开始。它为机器学习模型提供运算组件,llama.cpp 和 whisper.cpp 等项目就用它来运行语言模型和语音模型。
例如,开发者准备好模型结构和权重后,可以利用这些组件组织计算,再连接自己的聊天、转写或其他应用。用户看到的功能由上层软件提供,ggml 则负责其中的模型运算基础。
它支持量化,也就是用更紧凑的数字形式处理模型参数,帮助一些模型减少内存和存储占用。配合不同的硬件后端,开发者可以尝试让模型适应现有设备,再比较速度、资源使用和输出质量。
FindAIGo 认为,它适合做本地 AI 应用或设备端推理的开发团队,需要一定的 C / C++ 和模型开发基础。具体能运行哪些模型、给用户提供什么功能,要看采用 ggml 的项目如何实现。
加载中 / Loading

用户讨论
正在加载评论…