让另一个模型打分时结果忽高忽低，怎样检查评审标准和模型偏差？

保存评分规则输入顺序和评审版本

适用于同一答案多次评分不同、长回答总获高分，或交换左右位置后胜负反转的比较。保存每次完整输入和输出，确认没有自动省略依据或使用不同规则。先明确任务是绝对评分还是两两偏好，二者问题不同，不能把一张胜负表直接解释成每个维度的事实准确率。

区分标准模糊与位置长度等偏差

检查评分维度是否可观察，是否提供必要参考答案或证据，并查看模型是否评价了无关风格。隐藏候选来源可减少某些偏好，但不保证完全中立。对涉及计算和事实的结果，评审自身也可能出错，应直接验证关键值，不只追问它为什么如此打分就认为问题解决。

用明确锚点校准并交换答案顺序

为主要分值或通过标准提供清楚锚点，限制评分范围并要求对应证据。配对比较可随机化并交换位置，记录冲突而不是只取有利结果。保留人工核对集，先验证评审与任务标准的一致性，再用于大规模辅助；规则调整后应重新检查旧样本，不能直接混合不同版本分数。

对照人工判断检查重复评分稳定性

对同一批样本重复评分并与人工标注比较，检查位置交换、篇幅变化和不同题型下的差异。记录不一致及争议样本，决定是否需要人工复核。成功是稳定性与有效性都得到支持，不是评分器输出规范JSON；稳定地偏向错误答案仍然是可靠格式下的无效评价。

本文没有调用评审模型或给出一致率数字，引用研究用于说明已知偏差类型，不代表所有模型偏差程度相同。人工标注也可能分歧，应保留规则和理由。多评审投票可以辅助，但不能自动消除共同错误；关键结果仍应依据实际任务和直接证据判断。