检索评测是什么?召回、排序与生成答案怎样分别检查
用手册问答解释检索评测,说明问题、资料库和相关片段标注,区分 Recall@k、排名指标与答案正确率,并给出排查漏检的可执行方法。
先理解这个概念
检索评测检查系统能否从资料集合中找出问题需要的内容,以及相关内容排在什么位置。它通常需要固定问题、候选资料和相关性标注,不能只凭最终答案流畅程度判断。检索找到资料不保证生成正确,生成答对也可能没有使用可靠证据;两段应分别核查,再观察完整任务表现。
先标出回答问题实际需要的原文
例如手册问答需要普通规则和例外条件。这两处片段都应标为相关,不能只标最容易找到的一句。片段标注还需对应具体资料版本,原文变化以后应复查。标注者分歧较大时,先澄清问题定义,再计算平均分数。
Sentence Transformers评测接口采用问题与资料及相关编号,Microsoft也区分检索与回答评测。实际系统若按块返回,就应确认标注粒度与返回一致。这里给出数据准备方法,没有构建真实评测集或报告检索成绩。
召回覆盖与排序靠前是不同指标
Recall@k关注已标注相关内容中有多少出现在前k个结果;排名指标则进一步关注它们排得靠不靠前。例如资料都找到但在末尾,和关键片段完全缺失,是不同错误。还要核对分母与无答案问题的处理规则。
只有一处相关资料的问题,与需要多处证据的问题应分别观察。把两者混成一个数字,可能掩盖跨段检索的缺陷。提高返回数量通常会改变覆盖和噪声,不能只报召回上升,而不检查无关结果及后续输入预算。
固定条件比较以后仍要检查最终答案
修改分块或向量模型时,使用相同问题及资料版本,保存每个问题的命中记录。若正确片段不在索引里,先修导入,而不是继续调排序。若片段找齐但回答漏了例外,再检查生成输入和提示,避免修改错误环节。
自动评审模型可以辅助打分,但其判断也可能有误,应抽查关键失败例子与原文。本文没有把某个指标门槛当通用合格线。是否可用取决于真实任务和错误代价,评测记录应明确测试范围及尚未覆盖的资料形式。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明,实际使用时请核对所用工具的版本。