检索结果不准,怎样区分召回不足与排序错误?
检索结果不准时,先看正确片段有没有出现在重排之前的候选集合。若根本没有取回,重排序无法凭空补出它;若已经取回却排在后面,才进一步检查重排输入和字段。
先从这里排查
检索结果不准时,先看正确片段有没有出现在重排之前的候选集合。若根本没有取回,重排序无法凭空补出它;若已经取回却排在后面,才进一步检查重排输入和字段。把召回遗漏与排序错误分别测量,避免只更换重排模型,却没有修复真正缺失的证据。
标出正确片段是否曾被初检取回
适用于相关文件在靠后位置,或答案引用同主题但不支持问题的段落。先为失败问题标注正确片段及可接受的替代依据,并保留当前过滤条件。标题相似不代表内容相关;如果标注只到整份文件,容易把错误章节也算成召回成功而掩盖问题。
分开保存候选列表与重排结果
保存初检候选ID与重排后的ID顺序,确认重排收到的正文没有被截断成空标题。再检查查询表达和字段配置,观察长片段是否丢失关键句。过滤条件导致正确资料被排除时,问题属于候选生成或权限范围,不能通过人为提高无关片段分数来补救。
按缺失阶段调整召回或排序
召回不足时分别试验关键词、向量或混合检索,以及适当候选范围;候选已足够时才比较重排策略。一次只改变一个条件,记录延迟与最终采用的片段。传给生成模型的数量还应受上下文约束,取回更多不代表必须把全部候选塞进最终提示词。
在固定问题集比较命中与位置
在固定标注集上检查正确依据是否被取回,以及是否位于实际使用范围内。单独统计召回与排序变化,再核对最终回答的支持程度。加入产品型号和同义问法等不同类型问题,避免某类查询改善后另一类明显下降;没有真实测量前不要填写性能提升百分比。
本文没有运行检索或重排服务,也未指定适用于所有平台的候选数量。不同服务对排序器输入有特定上限,应查所用版本说明。标注可能包含多份合理依据,评测不应强求唯一顺序;重排分数提高本身不能证明回答事实更准确或权限过滤正确。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明,实际使用时请核对所用工具的版本。