Google Cloud 发布 llm-d 1.0，为 TPU 与 GPU 集群带来缓存感知路由
Google 在 PyTorch Conference North America 发布 llm-d 1.0，这是该开源分布式推理栈的首个稳定版本，将 vLLM 或 SGLang 模型服务器整合为 Kubernetes 原生的统一资源池。
回到原文
这里保留短导读，不转载来源网站的完整正文。具体表述和后续更新请以原文为准。
打开 AIHOT 原文
hotai.newshotai.newsGoogle 在 PyTorch Conference North America 发布 llm-d 1.0，这是该开源分布式推理栈的首个稳定版本，将 vLLM 或 SGLang 模型服务器整合为 Kubernetes 原生的统一资源池。
这里保留短导读，不转载来源网站的完整正文。具体表述和后续更新请以原文为准。
打开 AIHOT 原文