讲解KV缓存感知路由与预填充解码分离技术优化LLM部署
演讲讨论agentic工作负载下LLM部署的挑战，重点介绍KV缓存路由和预填充解码分离技术。KV缓存路由通过感知前缀和负载来提升命中率。预填充解码分离把两阶段独立部署，避免相位干扰，大幅降低令牌间延迟，但需要高速网络传输缓存。该技术适合长上下文、中等并发和严格延迟场景。Red Hat的LLMD框架实现了这些机制，并在GLM 5.2上结合多种并行策略优化，取得显著性能提升。项目正在开源社区协作发展