https://www.lixueduan.com/tags/litellm/探索云原生（微信公众号：探索云原生）,「江湖人称指月小筑」是意琦行的技术博客。一个云原生打工人的探索之路，专注 Kubernetes、云原生、AI Infra、Go，坚持分享最佳实践、经验干货。Hugo 0.149.0 & FixIt v0.4.0-alpha-20250831070510-5a66a050zh-CNxueduan.li@gmail.com (意琦行)xueduan.li@gmail.com (意琦行)Tue, 07 Apr 2026 20:00:00 +0000https://www.lixueduan.com/posts/ai/17-litellm-ai-gateway/Tue, 07 Apr 2026 20:00:00 +0000xueduan.li@gmail.com (意琦行)https://www.lixueduan.com/posts/ai/17-litellm-ai-gateway/AI<p><img loading="lazy" src='https://img.lixueduan.com/ai/cover/litellm-ai-gateway.png' alt="litellm-ai-gateway.png"></p> <p><strong>为什么需要 LiteLLM？</strong></p> <p>当你在使用多个 AI 模型时，会遇到这些问题：</p> <ul> <li>每个 Provider 的 API 格式不同，需要维护多套代码</li> <li>无法统一监控所有模型的调用情况和成本</li> <li>切换模型需要修改业务代码</li> </ul> <p>LiteLLM 通过统一的 OpenAI 兼容接口解决了这些问题，让你只需修改 <code>model</code> 参数就能切换模型。</p> <p><strong>核心功能：</strong></p> <ul> <li><strong>统一接口</strong>：一套 API 调用 OpenAI、Azure、Anthropic、Google 等多家模型</li> <li><strong>成本追踪</strong>：实时监控各模型的使用量和成本</li> <li><strong>负载均衡</strong>：自动在多个模型间分配请求</li> <li><strong>速率限制</strong>：防止 API 滥用和成本失控</li> </ul> <p>LiteLLM 作为统一网关，接收所有客户端请求，然后根据 <code>model</code> 参数自动路由到对应的后端模型服务。无论是本地部署的 vLLM，还是云端 API（OpenAI、Claude 等），都可以通过同一套接口调用。</p> <p>本文将介绍如何在 Kubernetes 环境中部署 LiteLLM，并配置 PostgreSQL 作为数据库。</p>