AI 知识库怎样落地:RAG 选型、资料处理与答案核查
从一类真实问题建立知识库,逐步检查文档解析与检索结果,再验证答案是否有依据。本导读说明何时需要 RAG,以及没有答案、资料过期和权限不符时怎样处理。
先确定资料能回答哪一个问题
知识库问答要先找到能支持回答的资料,再让模型据此作答。第一次试用时,选择一批来源清楚、能够核对版本的文档,并为常见问题写下参考段落。导入文件以后,分别核对聊天答案和检索依据,并记录答案引用原文的方式。
先判断是一次阅读还是持续问答
只分析一份较短文档,可以先尝试直接提供原文。需要反复查询不断更新的资料,或不同用户只能查看其中一部分,再考虑检索式知识库。原文长度没有超过上下文窗口,并不等于模型每次都能完整利用;选型仍要用自己的问题检查结果。
RAG 与微调解决的重点不同。若问题是公司资料更新后答案仍旧,先检查文档版本与索引,而不是立即训练模型。如果任务要求稳定的输出风格,也需要单独评估提示词或训练方案,不能把知识检索当作所有问题的统一修复。
导入资料前检查提取出的文字
阅读器能正常显示文档,提取文本仍可能发生行列错位。先抽查包含表格的页面,并逐项比较字段对应关系。扫描 PDF 没有可用文本层时需要 OCR;把图像文件直接改成 PDF 后缀不会增加文字内容,更不会自动得到可靠的表格结构。
清理格式时保留原文副本,避免把换行和列表编号全部删掉。它们可能用于区分条款或记录。若使用本站文字整理工具,先在一小段匿名文本上验证选择的功能,再比较导出内容;不要把格式整齐直接当作语义正确。
把资料片段与出处一起保留
分块后仍应能够找到原来的页码或段落。条款中的例外如果被切到另一块,模型可能只读到一般规则;因此抽查分块边界时,要包含条件较多的段落。保留文档版本和可访问地址,才能在答案出现争议时回到同一份原文核对。
先检查检索实际返回的片段,再调整返回数量。增加 Top-k 可能加入需要的资料,也可能引入过期内容或相近但不相关的段落。涉及产品编号的问题,应单独测试精确词面匹配;自然语言问法再检查语义搜索,必要时比较混合检索。
分别记录检索命中和答案依据
为每个试验问题保留预期依据,并单独记录系统有没有找到它。检索命中但回答错误,可能是生成时忽略了条件;检索没有命中时,换一个表达方式也许只是在绕过失败。持续保留同一批问题,才能看出更换分块方式后原来的错误是否真正减少。
另外留出未参与调参的问题。对于资料里没有答案的询问,正确行为可能是说明缺少依据,而不是生成看起来完整的结论。记录每次实际失败的环节,不要用一个综合分数遮住检索问题;本导读没有测量任何知识库产品的准确率。
| 试验问题 | 需要看到的证据 | 下一步 |
|---|---|---|
| 资料包含答案 | 相关片段已返回,答案与该片段一致 | 检查例外条件是否一并引用 |
| 资料没有答案 | 系统说明缺少依据 | 补充适用资料后重新检索 |
| 同一规则存在旧版 | 引用能够对应当前有效版本 | 修复更新或版本过滤逻辑 |
上线前检查权限与更新后的结果
共享知识库需要用不同权限的账户分别测试。无权访问的文档不应作为检索结果进入该用户的回答上下文,也不能仅靠模型答应保密。涉及私有资料时,先核实平台处理和保留数据的条件,再决定是否导入;匿名样本通过只能说明那次试验的结果。
选一份已知资料进行更新后,再问同一个问题,并核对答案引用是否已经变化。删除或停用资料也需要相同检查。每次修复保留原来的失败样本,未来替换模型或修改检索策略时继续重放,避免“看起来答得好”成为唯一验收条件。
方法参考
以下资料说明相关方法与技术条件。本文是任务导读;本站实测的样本和结果由链接中的实测指南单独说明。