AI 幻觉是什么:自然可信的回答也可能缺乏事实依据
解释错误或无依据生成的常见表现,区分检索缺失与生成失真,并说明引用、未知值和事实核对的作用。
先说结论
先理解这个概念
AI 幻觉通常指模型生成了错误或缺乏依据、却看起来合理的内容。表现可能是编造人物、日期或引用,也可能是把提供资料解释错。它不代表模型有人的故意欺骗意图,也不能只靠语气自信判断。遇到具体结论,应回到来源与原始输入核对;给模型增加资料能够帮助,但不能保证自动消除错误。
01
生成过程不等于逐条事实数据库查询
OpenAI 的研究讨论语言模型为何会在不确定时生成错误,Google 的 Grounding 则提供与来源建立关系的方法。流畅文本可能来自模式生成,而没有独立核实每个事实。模型引用一个真实页面,也可能写出该页面不存在的结论。不要把所有不满意回答都叫幻觉:拒答、格式错误和遗漏要求有不同原因。定位时区分资料没有提供、检索没取回和模型没有忠实使用,才能判断需要增加依据还是修改处理步骤。
02
核对具体事实而非要求模型保证正确
例如让模型从公开记录提取日期,人工对照原文,加入缺少日期的版本检查是否会补写。引用也要打开对应原文,确认支持精确说法,而非只检查链接能打开。让模型再次回答“是否确定”不能构成独立验证,它可能重复同一错误。本文没有测试模型或计算幻觉率,例子是验收方法。若证据不足,结果应明确未知,不能为了让表格填满就给出看似合理的日期或来源。
03
降低错误需要任务设计和持续复核
可采用明确字段、可追溯资料及允许未知的输出要求,但结构符合不等于事实符合。更新模型或提示后重放既有错误样本,关注是否新增其他类型问题。成本包括来源核对和人工修正,答案更长不一定更可靠。重要结论应使用独立可信依据,不把模型自评当作最后标准。最终说明已确认内容与未验证部分,遇到资料冲突保留差异,不用流畅改写掩盖无法确定的事实。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明,实际使用时请核对所用工具的版本。