模型校准是什么：预测概率要与实际发生比例对应
解释概率校准与分类正确率的区别，说明可靠性分组、独立样本和模型自述信心怎样影响结果解释。
先说结论
先理解这个概念
概率校准关注模型给出的概率与实际结果比例是否对应。例如一批预测约为八成的事件，实际发生比例也应接近八成。它与预测是否正确的准确率不同，更不等于让模型说自己更有信心。需要可解释的概率输出和独立标注数据才能检查，不能把语言模型写出的百分比直接当作已经校准的可信度。
01
概率可信和分类正确是不同维度
Guo 等人的原论文讨论现代神经网络的校准，scikit-learn 提供概率校准与可靠性曲线说明。一个分类器可以标签正确较多，却把概率普遍报得过高；另一个概率更谨慎，也不代表所有分类更准。校准方法通常调整分数与概率的关系，不应被理解为修好模型全部错误。对于开放语言回答，还需先定义可评分事件，不能把整段文字的主观信心直接套进分类概率公式，宣称每句事实都获得统一保证。
02
用未参与拟合的数据检查概率分组
例如在已确认标签的公开分类样本中，保存原始分数，将相近预测放在同一组，比较实际正类比例。用于调整校准的资料与最终检查资料应分开，避免同一批样本同时拟合并证明效果。样本少的分组需要说明不稳定，不能因偶然比例接近就宣称准确。本文没有拟合或绘制校准结果，例子属于验证设计。模型输出格式若只是自然语言“可能”，也不能凭想象转换为固定概率再计算可靠性。
03
数据变化后校准关系也需复核
新用户群或输入分布改变时，过去的概率关系可能不再适用，需用新标注重新检查。保留模型、校准器和数据版本，避免只更新其中一部分却沿用旧报告。成本包括标注和分组核对，不能只看增加校准函数的代码行数。决策阈值也应结合错误后果，而不是觉得某个百分比听起来可靠。最终报告区分概率校准、任务准确率与模型口头解释，明确各自证据范围，不把校准当作无需人工检查的许可证。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明，实际使用时请核对所用工具的版本。