准确率是什么:全部判断中正确的比例,别与精确率混用
用明确分类样本解释准确率,区分 precision 与 recall,并说明类别不平衡和关键错误怎样影响指标判断。
先理解这个概念
分类中的准确率是全部样本中判断正确的比例,计算时既包含正类也包含负类。它与精确率 precision 不同,后者关注预测为正的结果里有多少真的为正。准确率必须有明确参考和样本范围,高比例可能掩盖少数重要类别全部漏掉;模型生成任务还需要定义怎样才算正确,不能把格式通过直接计为事实正确。
分母是全部样本而非某个标签
Google 的分类课程与 scikit-learn 都区分准确率、精确率和召回率。准确率统计预测正确数量占全部数量,因此主要类别占比很大时,总分容易看起来不错。假设测试中多数邮件都是普通邮件,一个总预测普通的系统也可能得到高分,却识别不了需要拦截的内容。指标应与错误后果一起解释,不仅报告正确比例,还要检查少数类别的表现。日常说“准确”很宽泛,报告中应注明使用的是数学指标还是人工综合判断。
固定参考逐条核对正确与错误
例如用人工确认的公开邮件标签,保存每条预测并与参考比较,再计算总体比例。加入少数类别样本,检查系统是否只偏向多数。模型输出标签但没有按要求处理缺失输入时,也应按预定标准记录,不在看到结果后临时改答案。本文没有运行分类或计算真实数据成绩,例子只说明验收。对于开放回答,需要先写清事实和任务标准,不能拿一个字符串是否出现就替代整段内容的正确性。
数据和规则变化会改变分数含义
更新样本或标签时保留版本,避免把新口径成绩与旧分数直接比较。多分类和多标签任务的计算方式也应按所用实现说明,不能默认所有“accuracy”完全相同。成本包括参考维护和人工复核,不只是运行计分。需要同时关注精确率与召回率时,可以分别报告,再由真实任务决定权衡。通过一批测试只支持该范围内的结论,不等于未来所有输入都有相同正确概率,更不能把总体准确率写成每条回答的可信度。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明,实际使用时请核对所用工具的版本。