评测数据集是什么：用保留样本检查模型能否完成任务
解释输入、参考标准与评分记录怎样组成评测集，说明覆盖、数据泄漏和版本维护对模型验收的影响。
先说结论
先理解这个概念
评测数据集是用于检查系统表现的一组样本及相应判断标准，可以包含输入、参考答案或评分规则。它与训练或提示示例用途不同，应保留能够独立验证的样本。数量多不代表覆盖真实任务，答案有错也会误导分数。建立时应先定义预期行为，再整理正常和困难输入，并保存可追溯版本。
01
样本需要代表真正准备使用的任务
OpenAI 的评测建议关注真实任务分布及边界，Google 的生成评测也需要数据与指标配合。只放容易回答的样本，会漏掉资料缺失或冲突的情况；只放极端难题，也不能描述日常使用。参考答案应由可信资料或明确规则确认，允许无法判断时不能强填唯一结果。开放回答可以用要求替代逐字参考，但要求必须具体。先确定每条样本检验的行为，避免数据表很大却无法解释某次错误属于哪种问题。
02
保留未用于调提示的样本再验收
例如做邮件分类，可以把一部分公开样本用于讨论规则，另一部分固定留作检查。每次修改提示或模型后重跑保留部分，记录逐条输出和判断依据。不要把测试答案复制到提示后仍称为独立评测，也不要只汇总通过比例而删除失败输入。本文没有建立真实数据集或运行模型，例子只是设计方法。对于人工标注有分歧的样本，先核对标准再计分，不能让参考错误被当成模型失败。
03
版本和新增失败都需要记录
真实任务变化后，可以补充新失败样本，同时保留稳定子集解释长期变化。数据撤回或参考更正应留记录，旧分数不能直接与新口径混比。成本包括整理资料、人工判断和更新标准，不能只按样本行数衡量工作。最终报告说明语言、任务范围及评分方式，并指出没有覆盖的输入。评测集帮助发现问题，不证明模型永远不会出错；通过有限样本只支持相应条件下的采用判断。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明，实际使用时请核对所用工具的版本。