LiteLLM是一个开源的AI网关（LLM Gateway）和Python SDK工具，主要用于统一调用超过100种大型语言模型（LLM）的API。它让开发者可以用一致的OpenAI格式来访问各种提供商的模型，而无需为每个提供商单独编写代码或处理不同的输入/输出格式。

核心功能和特点

• 统一接口：所有LLM调用都兼容OpenAI的API格式（包括chat/completions等端点），支持OpenAI、Azure、Anthropic、Cohere、Groq、Mistral、Hugging Face、Ollama本地模型、Bedrock、Vertex AI、vLLM等100+提供商。
• 代理服务器（Proxy Server）：作为一个LLM网关，提供负载均衡、自动故障转移（fallbacks）、速率限制、预算控制和守卫（guardrails，如关键词过滤）。
• 花费追踪：自动跟踪不同模型、用户、团队或键的消耗成本，支持跨提供商的详细报告，可日志到S3/GCS等，便于计费或内部收费。
• 可观察性：内置日志、回调支持（集成Lunary、Langfuse、Helicone等工具），便于监控和调试。
• 其他高级功能：流式响应（streaming）、结构化输出、批处理API、提示管理、S3日志等。
• 易集成：Python SDK简单安装（pip install litellm），或通过Docker部署代理服务器。

主要优势

• 快速切换模型：只需修改model参数（如从"gpt-4o"切换到"claude-3"），无需重写代码，避免供应商锁定。
• 降低复杂度：统一异常处理、认证和响应格式，节省开发时间。
• 企业级支持：开源版免费，企业版提供云/自托管、SSO、审计日志、自定义SLA等（需联系报价）。
• 社区活跃：GitHub星标超过18K，Docker拉取超2.4亿，被Netflix、Adobe、Lemonade等公司采用，用于快速上线新模型和成本管理。

LiteLLM特别适合平台团队为开发者提供多模型访问、构建可靠的LLM应用，或在生产环境中管理成本和可靠性。