Nexa SDK

Nexa SDK 是一款设备端 AI 推理框架，让你在任意设备上离线运行任意模型 —— 完全无需依赖云端。无论使用 CPU、GPU 还是 NPU，Nexa SDK 均提供完善的后端支持，涵盖 CUDA、Metal、Vulkan 和高通 NPU。它支持文本、图像和音频等多种输入模态，是构建本地 AI 应用的多功能基础框架。SDK 内置 OpenAI 兼容 API 服务器，支持基于 JSON Schema 的函数调用和流式输出，并兼容 GGUF、MLX 以及 Nexa AI 自有的 .nexa 格式，实现高效量化推理。如果你在构建需要快速、私密、本地运行的 AI 应用，Nexa SDK 就是你一直在寻找的基础设施层。