人在回路是什么?人工审核怎样进入 AI 的执行流程
用外发报价草稿说明人工介入,区分观察、修改和批准,解释暂停恢复、具体审批对象及重复执行,避免把一个确认按钮当成完整控制。
先理解这个概念
人在回路Human-in-the-loop让人在AI流程的某些节点提供判断、修改或批准,例如执行外部动作前审阅具体内容。它既可以发生在训练标注,也可以发生在运行阶段,作用需要按场景区分。仅显示一个确认按钮不足以保证控制有效,系统必须真正暂停,并让批准对应到将要执行的那份动作。
让审核者看到可判断的具体动作
例如助手准备一份外发报价,审核页面应展示收件人和完整内容,再说明是否包含附件。只问是否继续,无法让人判断具体影响。若批准以后正文又被模型改写,原批准就不一定覆盖新内容,需要按规则重新核查。
这是运行阶段审核的设计例子,没有发送报价。人工可以纠正内容,也可以拒绝动作,程序应保存相应状态,而不是把任何回复都解释为同意。业务上需要哪一级审核,应由操作范围决定,不能只按模型对风险的自评。
暂停和恢复必须绑定原来的任务状态
LangGraph提供interrupt等机制暂停流程,并通过保存的状态恢复。开发者仍要确认恢复时从哪里重新执行,尤其暂停前有副作用的代码可能再次运行。审核界面只是其中一部分,真正的阻断和恢复由执行系统完成。
如果审批期间任务输入更新,应显示差异并核对审批对象。还需要区分用户账号和会话,避免甲的确认恢复乙的动作。Google ADK安全资料讨论人在回路与动作控制,但具体业务权限仍需应用自行接入和验证。
人工介入是否有效应按执行证据验收
可以在测试环境验证拒绝后没有外部动作,再验证批准只执行一次,修改后执行的是修改版本。这里是验收建议,没有操作业务系统。只统计用户点过确认,无法证明阻断有效,还需检查目标状态和执行记录。
人工审核也可能疲劳或误判,因此应给出足够证据,避免每个微小步骤都弹窗耗尽注意力。低影响动作与高影响动作可以有不同策略,但绕过审核的路径必须受控。人在回路是流程设计,不是给AI错误加一个免责标签。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明,实际使用时请核对所用工具的版本。