PD 分离详解：Prefill 与 Decode 的瓶颈、拆分与代价

xueduan.li@gmail.com (意琦行) — Wed, 02 Sep 2026 20:00:00 +0000

LLM 推理服务的性能瓶颈，不只在模型大小和 GPU 算力。副本增加后，请求落到哪个实例、长 Prompt 是否干扰流式输出、KV Cache 能否复用，都会直接影响延迟、吞吐和成本。

其中，Prefill/Decode 分离（PD 分离）是把两类截然不同的计算负载拆到独立资源池中的方案。本文从问题出发，说明它解决什么、代价是什么，以及何时不该使用它。

Decode - 标签 - 探索云原生