llm-d 1.0 发布:Kubernetes 原生分布式推理服务走向生产就绪
IBM、Red Hat 和 Google 等主导的开源推理项目 llm-d 在 PyTorch Conference North America 上发布 llm-d 1.0,这是一个 Kubernetes 原生的分布式推理服务框架,支持任意模型、任意加速器和任意云。
回到原文
这里保留短导读,不转载来源网站的完整正文。具体表述和后续更新请以原文为准。
打开 AIHOT 原文IBM、Red Hat 和 Google 等主导的开源推理项目 llm-d 在 PyTorch Conference North America 上发布 llm-d 1.0,这是一个 Kubernetes 原生的分布式推理服务框架,支持任意模型、任意加速器和任意云。
这里保留短导读,不转载来源网站的完整正文。具体表述和后续更新请以原文为准。
打开 AIHOT 原文