比较两个模型时,怎样避免提示词和采样参数不同造成不公平结果?
比较两个模型时,应固定任务与输入,核对可比较的采样、输出预算和工具配置,再按相同规则评分。参数名字相同不代表内部效果完全相同,默认值也可能不同。
先从这里排查
比较两个模型时,应固定任务与输入,核对可比较的采样、输出预算和工具配置,再按相同规则评分。参数名字相同不代表内部效果完全相同,默认值也可能不同。保存完整运行条件与多次输出,区分质量、延迟和成本,让结论限定在真实测过的任务范围内,不能只挑各自最好的一张回答。
先固定任务输入和评价目标
适用于一个模型收到更完整资料、另一个使用更短输出,最后却直接排名的比较。先保存系统要求、用户输入及可用工具,确认两者面对同一任务。模型能力不同可能需要各自适配,但应预先说明是比较统一输入表现还是各自优化后的系统,不将两种实验混在一起。
核对共同参数及各模型不同约束
核对温度、top-p与最大输出等实际生效配置,检查服务是否忽略不支持的参数。再比较上下文截断、重试和安全限制,避免一个模型失败后自动重试而另一个直接计错。固定种子也未必跨模型或设备等价,因此不能把同一个数值当作随机条件完全相同的证明。
保留每次输出与完整运行条件
以事先定义的问题集与评分标准运行,保留全部输出及错误,不只记录成功样本。对随机性明显的任务适当重复,并把实际参数和模型版本写入记录。评价者尽量不知道来源,必要时打乱顺序;质量与速度分开看,不能为了得到想要结论事后更改评分权重。
比较任务质量并报告可比范围
比较同任务的通过情况及典型失败,再核对不同题型和重复运行中的波动。报告样本量、设置及未能统一的条件,结论采用与证据相符的范围。成功是可追溯且公平的比较,不是某模型总分最高;少量题或一次运行,不能证明它在所有语言和全部任务都更强。
本文没有调用模型或给出排名、价格和性能结果。不同接口的采样支持会变化,需查实际版本。严格统一输入与各自最佳配置回答的是不同问题,二者都可研究但应清楚标注;若关键条件无法对齐,应说明不可直接比较部分,而不是用表面相同参数掩盖差异。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明,实际使用时请核对所用工具的版本。