模型裁判与人工评测怎么选：先核对评分标准是否一致
比较模型评分和人工核对的适用条件，说明裁判偏差、参考答案和分歧复核怎样影响评测可信度。
先说结论
怎样选择更合适
任务标准明确、需要重复检查大量结果时，可以评估模型裁判；标准还不清楚或涉及复杂事实判断时，应先由人工校准。两者可以结合，模型给出候选评分，人工复核分歧。裁判也是模型，不因输出分数就具备客观性；应使用同一套标准与已核对样本，确认评分能够反映真实任务要求。
01
评分模型也会受到表达形式影响
MT-Bench 与 Chatbot Arena 的原始研究讨论了模型裁判的位置偏差及偏好较长答案等问题。OpenAI 的评测建议也强调用人工反馈校准自动评分。若答案顺序改变就改变胜负，分数可能反映呈现方式而非内容。人工也可能因背景知识不同产生分歧，因此需要先对评分规则形成共识。事实核对必须回到证据，不能让裁判只凭写得自信就给高分，也不能把其解释当作已经完成独立查证。
02
同一答案集检查评分和分歧原因
准备已由人工确认的正确与错误样本，向两种评测提供相同要求与参考资料。保存逐项判断，不只记录总分，再检查模型与人工分歧是否集中在某一类。成对比较时交换展示顺序，核对位置是否影响结果。裁判若只能看到答案而没有来源，应明确它无法证明事实依据。保留一批未参与调规则的样本，避免把裁判提示调到记住测试答案。本文没有运行评测模型，也没有宣称任何裁判已达到人工一致率。
03
持续评测要维护裁判与人工标准
任务或裁判模型变化后，重放既有分歧样本，确认分数含义没有漂移。对关键错误保留人工复核入口，自动分数不能自动转成发布许可。成本包括标注、裁判调用和解释分歧的工作，不只比较每条评分时间。可以让模型筛出需要注意的结果，再按实际风险抽查，但抽查规则应事先明确。最终报告说明样本范围及未覆盖类型，不把有限数据上的一致写成所有任务都可以取消人工检查。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明，实际使用时请核对所用工具的版本。