意琦行的个人博客

HAMi 是目前 Kubernetes 上最活跃的开源 vGPU 方案，能够将一块物理 GPU 按显存和算力细粒度地切分为多个虚拟 GPU，供不同 Pod 共享。

本文聚焦 HAMi DRA 模式的部署与使用：安装 HAMi DRA 驱动后，分别用原生模式和兼容模式提交 Pod，验证 GPU 切分是否生效。

在上一篇 DRA P1：DRA 能解决什么问题？从部署到使用的完整体验 中，我们部署了 DRA 并成功运行了第一个 GPU Pod。DRA 相比 DevicePlugin 最大的区别在于：资源展示更详细，资源申请也更灵活。靠三个 API 对象来实现：ResourceSlice、DeviceClass、ResourceClaim。

那么这三个对象各自干什么，它们之间怎么配合？本篇就来回答这个问题。

在 Kubernetes 里用 GPU 这类设备，大家习惯走 DevicePlugin。但 AI workload 越来越复杂，DevicePlugin 的短板越来越明显——没法描述设备属性，调度器不参与分配，Pod 经常调度到节点后才发现资源不够。

DRA（Dynamic Resource Allocation，动态资源分配）就是 Kubernetes 针对这些问题推出的新框架。

Kimi-K2.6 是 Moonshot AI 在 4 月 20 日正式发布并开源的旗舰大语言模型，具备强大的长上下文推理、多模态理解和工具调用能力。本文将详细介绍如何使用 vLLM 部署 Kimi-K2.6 模型，并附上性能基准测试。

你是否遇到过这样的困扰：手头有 OpenAI、Claude、本地部署的多个 AI 模型：

• 每个都要单独管理 API Key；
• 团队成员都在用，却无法追踪谁用了多少、花了多少钱；
• 想把这些能力开放给外部用户并收费，却苦于没有现成的计费系统？

New API 就是来解决这些问题的。

New API 是什么？

Next-Generation LLM Gateway and AI Asset Management System

New API 是新一代 AI 基座平台，为您的 AI 应用提供统一的基础设施。承载所有 AI 应用，管理您的数字资产，连接未来的统一接口平台。

核心特性：

• 统一接口：一个 API 端点接入所有 AI 服务，兼容 OpenAI 标准格式
• 智能路由：多渠道负载均衡、故障自动切换、加权随机分发
• 精细计费：支持按次数/按量计费、预付费充值、多倍率配置
• 安全管控：令牌权限管理、模型访问控制、API 调用审计
• 数据洞察：实时数据看板、用量统计、成本分析
• 多租户架构：完美适配个人开发者、团队协作与企业级部署

技术架构：

为什么需要 LiteLLM？

当你在使用多个 AI 模型时，会遇到这些问题：

• 每个 Provider 的 API 格式不同，需要维护多套代码
• 无法统一监控所有模型的调用情况和成本
• 切换模型需要修改业务代码

LiteLLM 通过统一的 OpenAI 兼容接口解决了这些问题，让你只需修改 model 参数就能切换模型。

核心功能：

• 统一接口：一套 API 调用 OpenAI、Azure、Anthropic、Google 等多家模型
• 成本追踪：实时监控各模型的使用量和成本
• 负载均衡：自动在多个模型间分配请求
• 速率限制：防止 API 滥用和成本失控

LiteLLM 作为统一网关，接收所有客户端请求，然后根据 model 参数自动路由到对应的后端模型服务。无论是本地部署的 vLLM，还是云端 API（OpenAI、Claude 等），都可以通过同一套接口调用。

本文将介绍如何在 Kubernetes 环境中部署 LiteLLM，并配置 PostgreSQL 作为数据库。