检索命中率高却回答不可信,怎样分别评测召回与有依据程度?
检索命中率高而回答不可信时,应分开评测正确依据是否被取回,以及答案主张是否由实际上下文支持。候选中出现相关文档不等于生成用了正确段落,引用存在也不代表结论有依据。
先从这里排查
检索命中率高而回答不可信时,应分开评测正确依据是否被取回,以及答案主张是否由实际上下文支持。候选中出现相关文档不等于生成用了正确段落,引用存在也不代表结论有依据。保存检索和生成输入,按片段与主张分别检查,避免用一个总体分数掩盖不同失败原因。
同时保留检索候选与生成使用的片段
适用于正确资料在结果列表里,回答却编造数字、漏掉例外或引用错误章节的系统。先确定标注粒度和可接受依据,记录任务允许哪些外部知识。文档级命中可能过于宽松,源文件包含答案但被采用片段不含关键句时,不能把整条问答判为检索和生成都成功。
分开定义证据召回与回答依据
先检查正确片段在候选及最终上下文中的位置,再把答案拆成可核对主张,标记支持、冲突与未知。区分忠实于给定资料和现实事实正确,资料本身过期时这两者可能不同。评审模型给分也需要标准与抽查,不能让其看到引用格式就默认所有内容已有证据。
逐主张检查支持关系及遗漏条件
建立片段相关性与回答依据两套记录,保留原文限制和有效日期。召回遗漏时调整候选生成,片段已完整提供而回答超出依据时再调整生成与拒答策略。一次只改对应阶段,并检查是否增加不必要拒答;检索分数不能直接作为答案可信概率使用。
把召回失败和生成失败分别统计
分别统计证据未取回、组装丢失及生成无依据等失败,复核典型样本。增加没有答案及部分有答案的问题,检查系统不会用相关但不支持的内容凑结论。成功标准应同时覆盖召回和主张支持;文档命中率、答案流畅度或总体平均分较高,都不能代替这两个检查。
本文没有运行检索或评审模型,未给出质量提升数据。不同评测器对命中与有依据的定义不同,使用前要明确输入和标注方式。统计时保留样本数量及类型,不能把少量人工观察当作全量指标;对关键事实仍需要直接来源核实,不能只依赖自动评审分数。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明,实际使用时请核对所用工具的版本。