IBM Research 用开源模型与 llm-d 分布式推理降低 AI 芯片设计成本
IBM Research 演示用开源前沿模型结合 llm-d 分布式推理构建 agent factory,对量子纠错解码算法 Relay-BP 做 HLS 硬件优化,在 100 个假设预算下实现约 52 倍加速、推理成本约 26 美元;同预算下全专有模型配置成本 299 美元、加速 204 倍。
回到原文
这里保留短导读,不转载来源网站的完整正文。具体表述和后续更新请以原文为准。
打开 AIHOT 原文IBM Research 演示用开源前沿模型结合 llm-d 分布式推理构建 agent factory,对量子纠错解码算法 Relay-BP 做 HLS 硬件优化,在 100 个假设预算下实现约 52 倍加速、推理成本约 26 美元;同预算下全专有模型配置成本 299 美元、加速 204 倍。
这里保留短导读,不转载来源网站的完整正文。具体表述和后续更新请以原文为准。
打开 AIHOT 原文