hotai.news
← 返回 AI 百科AI 百科 / 基础概念

监督微调是什么?SFT 的示范数据、格式与评测方法

用工单提取例子解释 SFT 怎样学习输入与目标输出,说明训练格式、聊天模板和资料泄漏,并区分监督微调与把文档交给模型阅读。

HotAI.news · Codex 来源核对发布于 2026-10-20来源核对于 2026-10-20
先说结论

先理解这个概念

监督微调SFT在已有模型上,用示范数据继续训练,让模型更倾向于产生目标输出。语言模型中常见资料是提示与回答,或者具有角色标记的对话。训练会改变模型参数,而普通对话中提供参考资料主要改变当前上下文。SFT适合调整任务行为,但示范质量有限时也会学入错误,不能保证新增事实始终正确。

01

先确定希望学习的输出和例外情况

例如从客服工单中提取订单号,目标回答可以只包含规定字段。示范不应总是完整订单,还要包含缺失号码和含多个号码的情况,明确何时留空或报告歧义。否则模型可能学会每次填一个值,甚至补出没有出现的号码。

这是数据设计示例,没有进行训练。收集资料时应检查同一输入的标注是否一致,清理错误示范,再划分训练与独立评测。相同工单稍改措辞后同时进入两边,会让成绩过于乐观,难以判断模型是否学会了泛化。

02

模型分词器和聊天模板必须匹配

TRL支持提示与补全文本,也支持具有消息角色的对话格式。聊天模板决定角色和轮次怎样转成模型接收的序列,训练与使用时不一致可能影响结果。模板不是装饰性的提示文字,不能随意更换特殊标记而忽略模型要求。

损失计算可以只覆盖目标回答等指定部分,具体设置需按训练器检查。SFT也不一定更新全部权重,使用适配器时只训练部分参数。查看训练产物应同时记录基础模型和适配器版本,避免把一个小文件误认为可单独运行的完整模型。

03

微调效果要与未训练版本同条件比较

保留基础模型在同一组工单上的结果,分别统计字段错误和资料不足时的编造,再检查格式通过率。格式正确但号码错误,仍是失败。不能只报告训练损失下降,也不能因为少数演示更顺畅就断言整体质量改善。

如果问题主要是缺少实时库存,检索或工具查询可能比记忆训练更合适;若模型总不按规定输出,SFT才可能直接针对行为。两种手段也可以组合,但应逐项验证。本文依据公开训练资料解释机制,不承诺固定样本数量或训练收益。

核对来源

以下资料用于核对概念和方法。文中的示例与测试范围分别注明,实际使用时请核对所用工具的版本。

返回AI 百科 ↗