AutoArena

AutoArena 是一款开源工具，利用 LLM 评审员自动化生成式 AI 系统的一对一对比评估，以可靠、可重复的流程取代缓慢且易出错的人工测试。

与其凭感觉猜测哪个模型或方案表现更好，不如使用 AutoArena 快速、准确地生成排行榜，将不同的 LLM、RAG 配置或提示词变体进行并排对比，让上线决策有数据支撑，而不是依靠直觉。

由于每个应用都有自己独特的评判标准，AutoArena 支持根据您的具体需求微调自定义评审员，使自动化的一对一评判更贴近您真正关心的业务场景。

无论您是在评估 LLM、RAG 系统还是其他生成式 AI 应用，AutoArena 都能通过自动化的对比评判提供可信的评估结果，帮助您充满信心地持续迭代。