Google Cloud 发布 llm-d 1.0：面向 TPU 与 GPU 集群的缓存感知路由

📋总体概括

Google、Red Hat 与 IBM 发布开源分布式推理栈 llm-d 1.0，这是一个 Kubernetes 原生的 LLM 推理调度框架。1.0 版本带来缓存感知路由、多租户流控、零停机升级与面向 Agent 的智能路由能力，统一调度 vLLM、SGLang 等推理引擎及 TPU、GPU 异构算力集群。此举意味着大模型推理基础设施正从单机单卡走向集群化、平台化，三大厂商联手押注开源路线，与 NVIDIA 等闭源生态争夺推理调度层话语权。