小模型与大模型怎么选:高频分类先建立正确率基线
用同一批分类任务比较小模型与大模型,说明标签定义、错误分布和真实调用消耗为什么比单看参数规模更重要。
怎样选择更合适
先用满足业务要求的模型建立基线,再看较小模型是否能保持同样的任务质量。小模型可能更容易部署或缩短等待,但不能预设它一定更便宜;大模型也不会自动修好标签定义含糊的问题。对高频分类,关键是每一类是否按同一规则判断,并能识别不属于任何已知类别的输入。
参数规模不能代替具体分类结果
模型大小通常与参数规模有关,实际表现还受训练资料和任务设计影响。OpenAI 的选型建议先确定准确性要求,再优化成本和等待。对于固定类别的文本,先写出标签解释及容易混淆的反例,比直接按模型大小排序更有用。
如果两个类别的定义本身重叠,模型给出不同标签未必说明能力不足。先让维护者对同一批输入独立标注,处理分歧,再把这份参照用于比较。资料中没有答案时,单纯增大模型也不能消除判断所需信息的缺失。
保持输入和标签规则一致再比较
从实际请求中抽出普通样本与少见边界样本,分别统计每个类别的错误。两种模型使用相同提示词内容与允许输出的标签;若接口设置不同,应记录差异。只报总体准确率,可能掩盖少数关键类别已经失效的情况。
同时加入很短的描述、拼写不规范的文字和不相关输入。检查模型是否硬塞进某个类别,并核对结构化结果能否被程序读取。这里是分类验收设计,未给出任何模型的实测胜负,也没有规定适合所有项目的最低通过率。
把复核与重新训练的负担算进去
记录每次请求的输入与输出消耗,以及人工修正错误所需时间。小模型如果频繁需要重试,单次调用节省未必能减少总投入。使用自部署模型时,还要核对设备吞吐与并发条件;服务价格不同,也不能只按参数量推算费用。
若小模型只在某些类别上稳定,可以把不确定输入交给另一模型或人工复核。任何标签或版本变化后,用保留样本重新检查,避免路由把困难题误送到能力不足的配置。选型依据应保存为可复查的结果,而非一次漂亮演示。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明,实际使用时请核对所用工具的版本。