清华与港中文团队开源 AKV:面向 LLM 智能体的 KV cache 工程服务系统
清华大学与 CUHK 研究者开源 AKV,一个构建在 SGLang 上的 KV cache 工程服务系统,让智能体通过 Drop 和 Repos(RoPE 旋转重定位)操作丢弃或重排 KV 条目而不改写文本历史。
回到原文
这里保留短导读,不转载来源网站的完整正文。具体表述和后续更新请以原文为准。
打开 AIHOT 原文清华大学与 CUHK 研究者开源 AKV,一个构建在 SGLang 上的 KV cache 工程服务系统,让智能体通过 Drop 和 Repos(RoPE 旋转重定位)操作丢弃或重排 KV 条目而不改写文本历史。
这里保留短导读,不转载来源网站的完整正文。具体表述和后续更新请以原文为准。
打开 AIHOT 原文