hotai.news
← 返回 AI 百科AI 百科 / 基础概念

检索评测是什么?召回、排序与生成答案怎样分别检查

用手册问答解释检索评测,说明问题、资料库和相关片段标注,区分 Recall@k、排名指标与答案正确率,并给出排查漏检的可执行方法。

HotAI.news · Codex 来源核对发布于 2026-10-20来源核对于 2026-10-20
先说结论

先理解这个概念

检索评测检查系统能否从资料集合中找出问题需要的内容,以及相关内容排在什么位置。它通常需要固定问题、候选资料和相关性标注,不能只凭最终答案流畅程度判断。检索找到资料不保证生成正确,生成答对也可能没有使用可靠证据;两段应分别核查,再观察完整任务表现。

01

先标出回答问题实际需要的原文

例如手册问答需要普通规则和例外条件。这两处片段都应标为相关,不能只标最容易找到的一句。片段标注还需对应具体资料版本,原文变化以后应复查。标注者分歧较大时,先澄清问题定义,再计算平均分数。

Sentence Transformers评测接口采用问题与资料及相关编号,Microsoft也区分检索与回答评测。实际系统若按块返回,就应确认标注粒度与返回一致。这里给出数据准备方法,没有构建真实评测集或报告检索成绩。

02

召回覆盖与排序靠前是不同指标

Recall@k关注已标注相关内容中有多少出现在前k个结果;排名指标则进一步关注它们排得靠不靠前。例如资料都找到但在末尾,和关键片段完全缺失,是不同错误。还要核对分母与无答案问题的处理规则。

只有一处相关资料的问题,与需要多处证据的问题应分别观察。把两者混成一个数字,可能掩盖跨段检索的缺陷。提高返回数量通常会改变覆盖和噪声,不能只报召回上升,而不检查无关结果及后续输入预算。

03

固定条件比较以后仍要检查最终答案

修改分块或向量模型时,使用相同问题及资料版本,保存每个问题的命中记录。若正确片段不在索引里,先修导入,而不是继续调排序。若片段找齐但回答漏了例外,再检查生成输入和提示,避免修改错误环节。

自动评审模型可以辅助打分,但其判断也可能有误,应抽查关键失败例子与原文。本文没有把某个指标门槛当通用合格线。是否可用取决于真实任务和错误代价,评测记录应明确测试范围及尚未覆盖的资料形式。

核对来源

以下资料用于核对概念和方法。文中的示例与测试范围分别注明,实际使用时请核对所用工具的版本。

返回AI 百科 ↗