hotai.news
← 返回 AI 百科AI 百科 / 区别与选择

固定分块与语义分块怎么选:答案前提不能被切断

比较按固定长度切分与按内容边界切分的区别,用跨段问题检查证据完整性,同时核对索引重建和重复片段带来的维护工作。

HotAI.news · Codex 来源核对发布于 2026-10-20来源核对于 2026-10-20
先说结论

怎样选择更合适

需要简单且可重复的切分规则时,可以从固定长度分块开始;答案经常跨越句段边界时,再评估按结构或语义切分。语义分块并非所有实现都使用同一种算法,也不保证检索必然更准。选择前应找出每题所需的完整依据,检查两种规则是否把关键前提和结论保留在可一起取回的范围。

01

固定长度和意义边界并不重合

固定分块容易明确长度和重叠参数,实际实现也可能尽量避免截断句子。语义分块则尝试按内容关系形成单元,仍受最大输入限制。Azure AI Search 同时讨论这些方法,LlamaIndex 提供多种节点解析方式,说明“语义”并不是一个统一开关。表格的单位如果留在前块,后块只有数字,即使命中了目标行,生成模型也可能缺少解释数字所需的信息。增加重叠可以保留部分相邻内容,却会使索引出现更多重复文字,应与按章节保留上下文的方式分别比较。

02

用跨段问题核对检索证据范围

取同一版本文档,选择答案在一段内的问题,再加入必须结合前后段才能回答的问题。固定 embedding 模型和返回预算,只更换切分规则,记录预期依据是否完整出现。返回块更大时,也要核对模型实际收到的总长度,避免把多给文字的效果误认为边界判断更好。遇到标题与正文脱离的片段,可以尝试把章节名作为元数据附回,并单独记录这次变化。评分时先判断原文是否被完整提供,再判断答案是否正确,不能用一次流畅回答代替检索验证。

03

分块规则变化需要重新检查索引

切分规则改变后,旧片段编号和引用位置可能变化,应保存文档版本与原文位置,保证撤回资料能够从索引移除。语义处理若额外调用模型,还要记录建库消耗,而非只比较查询费用。用保留的问题重跑更新后的索引,检查重复片段有没有挤走其他依据。若固定分块已经覆盖重要问题,可以保留它作为基线;新增规则应解决可定位的缺口。本文核对框架与官方文档,没有建立索引,也没有测量任何切分策略的准确率。

核对来源

以下资料用于核对概念和方法。文中的示例与测试范围分别注明,实际使用时请核对所用工具的版本。

返回AI 百科 ↗