Baseten 工程师实测：LLM 生成的推理引擎比 vLLM 快最多 90%
Baseten 工程师参考 MetaInfer 论文，让 Claude Code（Fable 5）为 Qwen-3.6-35B-A3B（NVFP4，单张 B200）自动构建推理引擎 VibeQwen，单流解码比 vLLM 0.25.1 快 90%，首 token 从 28ms 降至 12ms，并发 32 时吞吐高 71%。
AI 写的推理引擎比 vLLM 更快，团队怎样判断能不能用？
Baseten 的性能文章给出单张 B200、NVFP4 权重和 vLLM 0.25.1 等测试条件，并把吞吐、首字延迟和单步解码分别比较。
阅读分析回到原文
这里保留短导读，不转载来源网站的完整正文。具体表述和后续更新请以原文为准。
打开 AIHOT 原文