英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍
英伟达通过上游 vLLM 优化，让 2.8 万亿参数的 Kimi K3 在 GB300 NVL72 上达到 423 tok/s/user，性能提升 1.68 倍。该优化由 CentML 工程师 Benjamin 完成，采用 1.2 万行 Megakernel 融合方案。##英伟达## #Kimi K3#
回到原文
这里保留短导读，不转载来源网站的完整正文。具体表述和后续更新请以原文为准。
打开 IT之家 原文
hotai.newshotai.news英伟达通过上游 vLLM 优化，让 2.8 万亿参数的 Kimi K3 在 GB300 NVL72 上达到 423 tok/s/user，性能提升 1.68 倍。该优化由 CentML 工程师 Benjamin 完成，采用 1.2 万行 Megakernel 融合方案。##英伟达## #Kimi K3#
这里保留短导读，不转载来源网站的完整正文。具体表述和后续更新请以原文为准。
打开 IT之家 原文