给了示例仍然输出错格式,怎样检查示例本身是否引入了歧义?
给过示例仍输出错格式时,应先检查示例是否一致,以及它们是否覆盖真实输入中的例外。示例中的偶然细节也可能被学成规则,因此需要把可变值和固定结构写清楚。
先从这里排查
给过示例仍输出错格式时,应先检查示例是否一致,以及它们是否覆盖真实输入中的例外。示例中的偶然细节也可能被学成规则,因此需要把可变值和固定结构写清楚。先验证模型遵循了字段含义,再检查格式,不能只把一个正确答案复制成更多样例。
找出被误当成固定规则的示例细节
常见现象是把示例中的姓名带进新结果,数组长度总等于示例,或没有资料的字段也被填上默认内容。保存实际输入与示例,标出哪些值原本应变化。若示例本身就混用字段名称或日期格式,模型输出不一致首先应归因于任务定义不清,而不是盲目增加样例数量。
核对样例与正文的格式是否一致
逐个核对示例的字段顺序、允许值和缺失处理,再与正文规则比较。示例中没有出现错误或空值,不代表真实任务也不会遇到。还要检查提示词是否要求一种格式,示例却演示另一种;当两者冲突,应先统一,而不是依赖模型判断哪个更重要。
用不同长度和缺字段案例说明变化
挑选少量具有差异的样本,展示固定结构以及应该随输入变化的值。加入没有可提取信息的情况,并明确未知值处理。把示例与本次待处理材料分区,避免被当作同一份资料;需要严格结构时,在生成完成后继续执行Schema校验,示例不能替代程序检查。
在未见对象上检查事实与结构
使用没有出现在示例中的对象和长度进行验证,确认结果没有复用示例的人名或数量。再检查真实缺字段输入是否保持未知,而不是照填某个模板值。成功标准是新输入仍满足同一套格式与事实要求,不是模型能复述示例中的那个答案。
示例学习不等于更新模型权重,也不能保证处理所有分布外输入。增加样例会占用上下文,应保留与任务有明确关系的差异。本文没有调用模型比较不同样例数量的效果;如果平台还加入隐藏模板,应同时核对应用最终发送的请求,避免只修改一段没有生效的文本。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明,实际使用时请核对所用工具的版本。