提示词注入是什么：资料里的命令不能自动变成用户授权
解释外部文本改变助手行为的风险，区分用户任务和被分析内容，并说明工具边界与安全样本如何验收。
先理解这个概念
提示词注入是输入或外部资料夹带指令，试图让模型偏离原任务或越过应用边界的情况。它可以藏在网页、文件或工具返回里，不只是用户直接提出要求。比如任务是总结邮件，邮件正文却要求转发附件，这仍是被分析内容，不自动构成授权。处理时应区分可信指令与资料，并让应用限制可执行动作。
被读取内容可能伪装成更高层指令
Anthropic 的防护说明关注不可信内容与工具处理，OpenAI 的安全建议也强调多层措施。外部文字写着“系统要求”并不会因此获得真实权限，但模型仍可能受它影响。仅在提示中增加一句忽略恶意命令，不能证明所有输入都安全。应在程序层明确工具范围和必要检查，把读取资料与允许写入分开。判断可疑内容时关注它是否要求偏离任务，而不是只搜某几个固定攻击词，正常文档也可能引用这些词语。
用无害资料验证任务和动作边界
例如在测试副本中放入要求输出无关标记的文字，任务仍是摘要，检查助手是否把这段内容当作事实引用或错误执行。工具涉及写入时使用模拟目标，不向真实外部人员发送内容。记录原任务、夹带文字及实际动作，区分模型回答偏离和应用权限失效。本页没有攻击外部系统或执行注入测试，例子只是设计。即使样本通过，也只能支持相应条件，不能宣称系统已经对所有未知攻击免疫。
工具和资料变化后持续复查边界
新增工具会改变潜在影响范围，更新模型或处理格式后应重放已有样本，确认原边界仍然生效。保留失败证据与恢复方式，避免只观察回答文字却遗漏后台动作。成本包括维护允许范围和核对异常，不是把所有资料删除就算解决任务。防护应同时保留正常功能可用性，不能让助手因为看见命令引文就完全拒绝阅读。最终以实际执行与授权关系验收，不把模型口头承诺不会被注入当作有效证明。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明，实际使用时请核对所用工具的版本。