乌克兰开发者 Slava S 发布 ESP32-AI 项目,在乐鑫 ESP32-S3 开发板上成功部署 2890 万个参数的 AI 模型。该开发板配备 512KB SRAM、8MB PSRAM 和 16MB 闪存,此前同类部署上限为 26 万个参数。
开发者采用 Google Gemma 的 Per-Layer Embeddings 技术,模型经 4-bit 量化后文件大小为 14.9MB。通过将 2500 万参数嵌入表存入 16MB 闪存,模型每生成一个 Token 仅需读取少量数据。
当前该模型无法支持聊天或编程功能,但开发者提出了离线咖啡机应用设想,可围绕咖啡豆、研磨方式、配比和水温生成内容。
文中提及的 AI 工具
评论
正在加载评论…