Google Cloud 发布 llm-d 1.0，为 TPU 与 GPU 集群带来缓存感知路由

llm-d项目在GitHub于2026-10-20发布v1.0.0，将面向Kubernetes的分布式大模型推理能力整理为稳定版本，关注价值在于它试图解决多轮智能体请求下缓存复用、调度公平和服务升级等工程问题。

• 官方说明，llm-d可与vLLM、SGLang等模型服务器协同工作，并通过前缀缓存感知和负载感知路由选择副本。
• v1.0.0加入多租户服务质量控制，包括优先级调度、流量控制和受控负载丢弃。
• 项目支持路由器高可用、热备和滚动升级，并把prefill与decode分离部署纳入统一管理。
• 面向智能体场景，版本增加会话状态相关能力，使多轮请求更可能被路由到保留上下文缓存的实例。
• 官方仓库将其定位为生产推理编排层，实际收益仍取决于模型、硬件、网络和缓存命中率。
• 影响/看点：若这些机制能在不同硬件和工作负载上稳定复现，llm-d可能降低大规模自托管推理的调度复杂度；其价值成立的条件是部署运维成本没有抵消延迟和吞吐收益。
• 资料依据:
• llm-d GitHub Release（2026-10-20）：llm-d v1.0.0 Release；https://github.com/llm-d/llm-d/releases/tag/v1.0.0
• llm-d GitHub仓库（2026-10-21）：llm-d项目说明与性能架构介绍；https://github.com/llm-d/llm-d
• MarkTechPost（2026-10-21）：llm-d 1.0 open-source distributed inference stack；https://www.marktechpost.com/2026/10/20/llm-d-1-0-open-source-distributed-inference-stack/

本内容由 AI 生成，仅供参考，请注意甄别