基础模型是什么?一套预训练能力怎样适配不同任务
解释基础模型与单任务模型的区别,用同一模型处理摘要和分类的例子说明适配方式,并讨论通用能力、下游验证和授权条件。
先理解这个概念
基础模型是在广泛数据上训练、能够适配多种下游任务的模型。它提供一个可继续利用的起点,应用可以通过提示词、检索或训练把它用于具体工作。大语言模型是其中常见的一类,但基础模型也可以处理图像等其他输入。基础不代表所有任务都已经做好,实际应用仍需检查输出和所用资料。
通用起点与完整应用需要分开理解
一个基础语言模型可以用于起草摘要,也可以根据标签要求给工单分类。它不必为每个任务从零训练,但应用仍要提供正确指令,并决定如何处理错误。用户账号和文件保存等功能通常属于应用软件,不能直接当作模型本身的能力。
假设团队希望同时整理会议纪要和回答产品问题。会议原文可以支持纪要任务,产品问答则需要相应的说明资料。共用一个基础模型,并不意味着两项任务可以共用同一段提示词或同一种检查标准。每个任务缺少的输入仍需补齐。
适配可以发生在输入侧或训练阶段
提示词让模型了解当前任务,RAG提供回答时所需的外部资料,微调则进一步改变模型参数。这些方法可以组合,选择取决于具体错误。模型没有获得最新产品规格时,先接入资料往往比立即重新训练更贴近问题。
基础模型已经学到的模式可能对多个应用有帮助,也可能让同一类错误在多个应用中重复出现。换一层界面不能自动消除这些错误。比较候选模型时,应使用你实际准备交给它的任务,不只看供应商展示的通用演示。
选择时检查下游表现与使用条件
先准备少量答案或结果可以人工确认的例子,核对摘要是否漏掉决定,再检查分类是否误用标签。这里给的是验证设计,没有对任何基础模型实测。能够处理第一种任务,也不能据此推断它在第二种任务上同样可靠。
还要确认模型的许可证、可获取的文件和实际运行方式。通过API使用模型,与下载权重自行运行需要的准备不同。基础模型不等于开源模型,权重可以下载也不保证没有用途限制;这些条件应查看模型卡和具体许可说明。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明,实际使用时请核对所用工具的版本。