离线评测与线上 A/B 怎么配合：固定样本和真实行为分开
比较保留数据上的质量检查与随机分组后的产品指标，说明样本覆盖、分流和停止条件怎样影响改动验收。
怎样选择更合适
发布前先用离线样本检查明确错误，实际使用行为是否改善则需要合适的线上验证。线上 A/B 与离线评测可以衔接，不是互相取代。离线分数高可能没有覆盖真实输入，线上点击增加也不证明答案更准确。应先定义本次改动与验收指标，再固定样本或分流规则，避免看到结果后才更换成功标准。
固定输入质量与真实用户反应不同
OpenAI 的评测建议围绕任务样本检查模型表现，Microsoft 的实验平台则研究可控线上实验。离线可以重复处理相同输入，适合定位某个版本的错误；线上随机分组有助于比较产品改动下的实际行为，但需要保证比较条件合理。若同时改模型和页面布局，行为变化不能简单归因于答案质量。用户是否完成任务也不等于事实是否正确，因此需要保留内容检查与产品行为两个维度，不用一个点击指标代替全部验收。
同一改动固定样本与分组条件
先用保留的正常与边界输入检查新旧版本，确认没有明显回归，再定义允许测试范围的线上实验。说明分组单位与观察窗口，核对用户是否在两种版本间来回变化。记录错误率与完成结果，并预先约定出现严重回归时的恢复方式。不要看见短期波动就不停改样本或提前宣布胜出。本文没有运行线上实验或修改真实流量，示例只是设计检查，不提供统计显著性结果，也不建议凭少量请求推断长期改善。
持续更新时保留可解释的实验记录
真实输入变化后，离线集应补充新失败类型，但保留稳定基线以便比较。线上实验则需记录同时发生的产品变化，避免把季节流量当作模型收益。维护成本包括标注、实验分析与失败恢复，不是只支付模型请求费用。一次结果只能支持当时范围内的选择，换语言或用户群后需要重新验证。可以先逐步放量观察明确指标，再根据证据扩大范围；最终报告应说明已验证条件和仍不确定的行为。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明，实际使用时请核对所用工具的版本。