京东开源实时视频视觉语言交互模型 JoyAI-VL-Interaction

京东宣布开源实时视频视觉语言交互模型 JoyAI-VL-Interaction，这是全球首个全栈开源的 interaction 模型和系统，并获得 vLLM-Omni 的 day-0 原生支持。该模型让大模型从“一问一答”走向“边看边说”，开发者可基于此框架快速搭建能持续观察、自主判断、即时响应的实景 AI 助手。

相比传统模型，JoyAI-VL-Interaction 有三重突破：主动判断而非被动回答，实时响应而非事后总结，以及适时智能体委托能力。它支持摄像头、直播流、监控流等多种视频输入，以及语音输入输出、可视化界面、长期记忆和 vLLM 部署方案，各模块均可按需替换。

在 58 个真人盲评案例中，JoyAI-VL-Interaction 对比豆包视频通话助手，总体胜率 77.6%；对比 Gemini 视频通话助手，总体胜率 87.9%。该模型可应用于安防监控、老人小孩看护、直播讲解、电商导购、操作指导、AI 眼镜、无障碍辅助等实时 AI 助手场景。