vLLM 多副本如何复用 KV Cache？llm-d 缓存感知路由实战

xueduan.li@gmail.com (意琦行) — Wed, 28 Oct 2026 00:00:00 +0000

上一篇 PD 分离详解：Prefill 与 Decode 的瓶颈、拆分与代价介绍了为什么要把 Prefill 和 Decode 拆开， vLLM PD 分离实战：从请求流程理解 Prefill、Decode 与 KV Cache 传输则用一个 P、一个 D 和轻量 Proxy，跑通了请求编排与 KV Cache 传输。

完成 Prefill 和 Decode 解耦之后，可以根据场景单独扩缩容 P、D 实例。

不过多副本推理还需要考虑缓存局部性：当多个实例都开启了前缀缓存，每次请求应该交给谁，才能复用已经计算过的 KV Cache？

本文便基于这个缓存局部性问题展开，通过 llm-d Router 对比随机路由与前缀感知路由。

Routing - 标签 - 探索云原生