LiteLLM

LiteLLM 是一个复杂的 LLM 网关和 OpenAI 兼容代理，专门设计用于全面管理 100 多种不同大型语言模型的认证、智能负载均衡和详细支出追踪，同时保持熟悉的 OpenAI API 格式。它显著简化了集成和使用来自各种领先提供商（包括 OpenAI、Azure、Cohere、Anthropic、Replicate 和 Google）的 LLM API 的复杂过程。LiteLLM 为所有支持的 LLM API 提供一致的输出格式和标准化的异常处理，以及跨所有模型的全面日志记录和错误追踪能力。它提供企业级功能，包括详细的成本追踪和预算、用于高容量处理的批处理 API、可配置的安全护栏、细粒度的模型访问控制、支出预算和限制、完整的 LLM 可观察性、智能速率限制、复杂的提示管理、用于审计跟踪的 S3 日志记录，以及用于自定义集成的灵活透传端点。