腾讯混元联合高校发布 OpenSearch-VL 开源多模态搜索训练方案

腾讯混元近日联合加州大学洛杉矶分校、香港中文大学等学府，发布 OpenSearch-VL 开源多模态训练方案。该方案通过强化学习技术，打造能处理图像、文本等多模态输入，并主动调用外部工具进行推理与检索的深度搜索智能体，旨在解决复杂视觉问答问题。

研究团队指出，当前多模态搜索智能体发展的瓶颈在于高质量训练数据。OpenSearch-VL 提供完整开源方案，包括数据管道、工具及训练算法。其数据管道利用维基百科超链接采样生成 SearchVL-SFT-36k 数据集；工具环境整合文本搜索、图像处理等功能。实验显示，相关模型得分从 47.8 提升至 61.6，效果显著。