元数据筛选是什么?检索前后怎样限定版本、类别和权限
用产品手册的版本与可见范围解释元数据筛选,区分相关性与条件限制,说明字段质量、前后筛选和少量结果,并给出越界与漏检检查。
先理解这个概念
元数据筛选用文档附带字段限定可检索范围,例如产品编号、版本或允许访问的用户组,再与关键词或向量检索组合。它表达条件限制,不是语义相关性评分。字段缺失或类型错误会影响结果,权限字段也需由可信程序维护。筛选在检索的不同阶段执行时,可能改变返回数量和覆盖,需按实现验证。
相似度最高也可能不在允许资料范围
例如查询某款产品当前版说明,应先限定产品和适用版本,避免旧版虽相似却不适用。私人资料还需结合用户身份限定范围。不能把筛选条件全部放进自然语言提示,再让模型在已经读取无权内容后自行挑选。
Pinecone提供附加字段条件,Azure也讨论向量查询筛选。字段命名和运算符因产品不同,不能直接复制全部语法。本文解释机制,没有连接真实检索服务,也没有修改业务权限,实际配置应按所用接口验证。
前置和后置筛选会改变候选覆盖
先筛选再检索,通常是在允许集合中寻找邻近内容;先找候选再筛选,则可能把大量候选剔除,返回不足预期数量。近似检索还有具体算法细节,不能只看最终少了几条,就认定资料库没有相关内容。
Azure资料说明不同筛选模式与召回权衡,应按数据分布测试。如果筛选很严格,可以检查是否需要更多候选或合适模式,但不能为提高召回放宽用户权限。相关性调优与授权边界是不同问题,后者必须保持有效。
字段更新和缺失需要使用固定样例核对
当资料从内部改成公开或反向变化时,确认索引里的可见字段已经同步。还要检查缺失字段是否被错误当成允许访问。可以测试一个应返回和一个应拒绝的记录,再检查原始元数据,而不只看模型的最终回答。
这里给出验收设计,没有进行真实越权操作。筛选结果正确以后,仍要检查片段内容与来源日期。元数据能帮助范围控制,但如果字段本身标错,系统可能准确执行了错误条件,因此入库质量同样需要抽查。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明,实际使用时请核对所用工具的版本。