提示缓存是什么?重复上下文怎样复用计算与核算收益
用重复阅读产品手册的场景解释提示缓存,区分计算复用与答案缓存,说明前缀匹配、有效期和用量检查,不把命中等同于免费或永久记忆。
先理解这个概念
提示缓存复用模型对重复输入已经计算的部分状态,减少再次处理同一内容的工作。它不同于直接返回上一份答案,模型通常仍根据新问题生成新输出。是否命中取决于服务的匹配规则和缓存有效期,可能还受模型或配置影响。缓存不增加上下文容量,也不保证所有重复请求都免费或得到相同答案。
重复手册与变化问题适合分别组织
假设多次询问同一份产品手册,可以让稳定说明保持一致,把变化的问题放在后面。前缀复用要求相应内容匹配,若在开头加入每次变化的时间戳,可能破坏后面的可复用部分。具体断点要求仍需按所用服务检查。
OpenAI资料说明缓存保存KV等计算状态,新输入仍需处理。Google提供隐式缓存,当前接口与模型对显式缓存的支持不同。不能把一家旧教程中创建缓存对象的步骤,无条件复制到所有新的模型接口。
命中缓存并不表示内容已经更新
缓存复用的是所发送内容,不会自动把旧手册更新成新版本。手册修订后,应使用新资料并检查请求确实改变。若业务应用在模型外另有答案缓存,也要单独处理失效,不能把两类缓存的更新规则混在一起。
相同输入也不保证输出逐字相同,因为生成仍可能包含采样等变化。若结果出现差异,应检查模型和设置,而不是直接认定缓存没有作用。反过来,答案相同也不是缓存命中的证据,需要查看服务报告的缓存用量。
计算费用应同时记录写入和复用
有的服务对缓存写入与读取采用不同计价,最低可缓存长度和有效期也会变化。评估时应核对实际命中词元及总输入用量,再结合当前费率。只报一个很高的命中比例,不能证明总开销一定下降。
压缩历史可能减少输入,却也可能改变前缀降低复用,应该比较总结果。本文解释核算方法,没有发起真实接口请求或承诺固定降费比例。对于不会重复使用的材料,先精简无关输入通常比为了命中而人为加长提示更容易判断。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明,实际使用时请核对所用工具的版本。