hotai.news
← 返回 AI 百科AI 百科 / 基础概念

文档分块是什么?RAG 怎样切资料才不丢条件和出处

用退换货手册说明文档分块,区分字符、词元和结构切分,解释标题、表格及例外条件的保留,并通过检索样例判断块大小是否合适。

HotAI.news · Codex 来源核对发布于 2026-10-20来源核对于 2026-10-20
先说结论

先理解这个概念

较长资料可以切成可单独处理的片段,这个过程称为文档分块,常用于嵌入和检索增强生成。块可以按长度或文档结构划分,目的是满足处理限制并让检索更聚焦。块越小不一定越好,条件与结论分离后反而容易误答;块越大也可能带来无关内容。切分时应保留来源和位置,再用实际问题检查检索效果。

01

切分单位不同会影响实际长度

按字符切分与按词元切分并不相同,中文和代码的换算尤其不能固定。LangChain递归切分默认依据字符与分隔符,Microsoft资料则讨论多种切分方式。使用参数前应确认长度函数,而不是看到同一个数字就认为块大小一样。

按标题或段落切分可以保留部分语义结构,但文档解析质量会影响结果。扫描PDF若先把多栏文字读乱,再精细切分也难以恢复原意。应先抽查提取文本与原页对应关系,避免把解析错误归因于检索模型。

02

例外条件与表格表头不应被孤立

例如手册写着支持七天退换,但紧接着排除定制商品。若两句分到不同块,只召回第一句就可能得出错误承诺。可以按相关段落保留,或在片段中带上必要标题与适用范围,不能为了短块把限定条件全部删去。

表格中的金额如果没有行列标签,也很难独立理解。应检查切分后每块能否定位原表,必要时重复表头或附相关标识。这里是资料处理设计,没有导入真实手册,也没有报告某种分块方式的实测准确率。

03

通过答案所需片段来评估分块结果

挑选几条需要具体例外或跨段信息的问题,标出正确片段,再检查检索是否找齐。若答案片段根本不在索引里,调生成提示未必有用。应先区分解析遗漏、切分丢义与排序问题,再选择相应修改。

可以比较两套参数的完整回答和重复内容,而不只计算块数量。重叠有助于连续性,也会增加存储与重复召回。不存在所有资料通用的最佳长度,最终设置应由文档形式和任务证据决定,并保留参数版本方便复查。

核对来源

以下资料用于核对概念和方法。文中的示例与测试范围分别注明,实际使用时请核对所用工具的版本。

返回AI 百科 ↗