调提示词时一直用同一批题，怎样判断评测结果是否过拟合？

标明每道题曾参与过的调试和示例

适用于少量固定问题表现越来越好，换一种问法却明显下降，或测试答案被直接写入示例的情况。整理数据来源、相似题和提示词历史，区分调试集与最终评测。公开基准也可能存在训练重叠风险，未知时应保留限制，不能宣称只要换了文件名就是全新测试题。

拆分开发集与未用于选择的测试集

检查示例、训练或微调数据与测试内容是否重叠，包括近似改写与同一文档衍生题。再核对开发者是否依据测试表现多次选择候选，这同样会影响独立性。样本拆分应按真实任务单位，相关记录随机分到两边可能泄漏共同信息，不能仅用行号不同判断数据完全独立。

固定评分规则后再比较候选

保留开发集用于迭代，另设未参与选择的测试集，按适合任务的时间或来源分组切分。固定题目、评分规则及版本后比较候选，必要时增加新的代表性样本。发现测试已被反复使用时应诚实改称开发结果，再建立独立验收，不删除失败题来制造更高平均分。

报告独立测试结果及数据重叠

同时报告开发与独立测试的样本量、类型和结果，并核对它们是否仍有近似重叠。检查修改对未见问法是否有效，以及特定题型有没有退步。成功应体现独立资料上的可靠变化；同一小题集接近满分，或只展示最好一次运行，不能证明通用能力已经提升。

本文没有运行模型评测或确认任何训练数据泄漏，提供的是评测组织方法。独立集仍可能不代表真实业务，需要持续补充并保留版本。数据保密与质量同样重要，不能为了扩题收集未经授权的私人内容；对未知训练重叠应明确不确定，不把怀疑写成已证实事实。