RAG检索到资料却答错,怎样逐步查清原因?
从实际检索片段开始检查RAG错答,区分资料版本、分块和生成越界,并用明确标注的合成资料示例说明验证方法。
先从这里排查
RAG答错时,先保留这次问题、真正送给模型的片段和最终回答,再判断错误发生在哪一段。找到相似文档不代表已经找到正确依据:型号或版本不同,相关度再高也可能支持不了答案。如果本次提示词中已经包含正确片段,却仍出现原文没有的结论,应检查生成要求与逐句引用。本页用虚构的灯具规格说明排查方法,没有调用向量数据库,也没有将合成资料比较当作检索服务实测。
先取得这次实际使用的检索片段
症状通常包括引用了相近产品、采用旧版规则,或回答写得很完整却无法对应原文。复现时固定一个失败问题,保存检索返回的候选片段,并另外保存最终送给模型的内容。搜索列表中出现过正确文档,并不说明后续截断或组装步骤仍然保留了它。
先直接打开目标文档,确认其中确实写了答案,再检查这段文字是否已被解析并建立索引。如果原始PDF依靠扫描图片呈现,抽出的空白文本就无法支持后续回答。本站OCR指南展示了降质样本把128.50识别为12850的实际结果,资料预处理中的错字也会沿着问答继续传播。
按型号和版本检查依据是否匹配
下面是合成资料示例,三个文档编号和全部规格都为解释问题而虚构。问题限定为“2026版L1标准款的额定功率”,对应依据是10W。检索到18W的L1 Pro虽然主题接近,仍不能支持标准款的回答;旧版8W也不能直接作为当前规格。
实际排查可以把型号与生效时间保存为元数据,比较过滤前后的候选结果。先人工判断片段是否回答同一个问题,再调整检索设置。相似度分数只是排序依据,不能替代对版本的核对,也不能用不同系统里的分数直接推断答案可信度。
| 合成文档 | 说明范围 | 原文规格 | 能否回答本题 |
|---|---|---|---|
| L1-2026 | 2026版标准款 | 10 W | 匹配 |
| L1-Pro-2026 | 2026版Pro款 | 18 W | 型号不同 |
| L1-2024 | 2024版标准款 | 8 W | 版本不同 |
片段缺少前提时再调整分块和检索
如果正确资料没有被取回,检查问题中的专用编号是否需要精确关键词匹配,再比较关键词、向量或混合检索的候选。正确片段排在后面时,可以单独测试重排。不要同时更换嵌入模型并修改所有阈值,否则无法判断哪一步改善了结果。
片段只剩主规则、丢了后面的例外时,调整分块范围,或者把相邻段落一起取回。增加候选数量也可能引入错误版本,因此应记录最终采用的片段,而非只比较取回多少条。评测时单独记录正确证据是否被取回,再核对回答有没有依据;同一次回答可能在这两个检查中得到不同结果。
已有正确片段却答错时检查生成要求
把回答拆成具体断言,逐句找出支持它的片段。资料只写额定功率10W,回答却补出“适合所有户外环境”,就需要删除或标明这个没有依据的延伸。提示词应要求结论对应来源,资料不足时说明缺少什么,不要让回答长度或固定字段逼着模型填满未知信息。
把同一段正确资料单独提供给生成步骤,可以帮助定位检索之外的问题。若仍答错,再检查指令冲突以及引用是否在答案合并时错位。这个对照只减少了输入变量,不足以证明模型以后都不会出错;修复一个样本后还需要重新检查其他类型的问题。
用固定错题验证修复并保留拒答样本
建立一组带预期依据的问题,至少保留不同版本容易混淆的题,以及资料中完全没有答案的题。每次修改只对同一组比较:正确来源是否实际被使用,回答中的关键数值是否对应原文。没有依据的样本应明确资料不足,不能靠输出更流畅来判定修复。
本文适用于能查看检索结果和模型输入的文档问答。如果使用的平台不开放这些记录,只能先核对原文及公开引用,不能精确断定是分块还是生成出错。私有知识库还需使用授权测试账号检查检索权限,答案正确也不能证明越权资料没有被读取。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明,实际使用时请核对所用工具的版本。