长上下文与 RAG 怎么选:完整放入和检索选择都要验收
比较一次提供完整材料与检索后提供片段的差异,说明遗漏、引用和资料更新如何影响知识任务的实际选择。
怎样选择更合适
资料规模可控且需要跨全文分析时,可以先试长上下文;资料持续增长或每次只需少数相关段落时,可以评估 RAG。长上下文解决输入容量问题,RAG 负责选择本次需要的资料,两者也能组合。容量足够并不保证不会漏读,检索命中也不保证片段足以回答问题。
更多材料和更少候选各有信息损失
长上下文一次提供较长材料,RAG 则先检索资料,再把相关内容送入生成模型。两种方法都受实际模型支持和输入处理方式影响,不能只按宣传的最大长度判断整个应用能否完成任务。
把全文放入后,模型仍可能忽略关键条件;只给检索片段时,则可能在选择阶段丢掉前提。若问题要求比较整份合同中的多个条款,相关片段是否覆盖全部依据尤为重要。先列出作答必须使用的段落,再判断材料应该怎样提供。
固定同一文档与问题检查遗漏位置
准备一份答案已知的长文档,在开头和后半部分分别选择需要核对的信息。全文方案保存实际输入长度,RAG 方案保存实际返回片段。逐条检查结果与依据,区分模型没使用材料和检索没把材料提供给模型。
再加入资料中没有答案的问题,检查是否会补出看似合理的结论。比较等待与消耗时,用相同问题和同一版本文档,不拿全文复杂分析与单段问答直接比较。本文没有调用长上下文模型,也不提供通用准确率或费用比例。
按更新方式维护原文和检索记录
RAG 需要维护解析、索引和检索配置,长上下文方案也要确定每次获取的是完整最新版本。资料更改后应重跑旧问题,检查引用是否仍然指向正确文本。保留模型最终看到的内容,才便于排查旧版信息残留。
若全文过长而问题又跨多个部分,可以让检索返回较完整的章节,再用较长上下文进行分析。是否值得组合,仍由保留样本的结果决定。不要把增加窗口或增加检索步骤当作无需评估的升级,每次只改动可解释的部分。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明,实际使用时请核对所用工具的版本。