预训练是什么？基础能力怎样学习及后续训练的边界
解释预训练在模型开发中的位置，用续写训练区分学习目标与聊天行为，并说明继续预训练、微调和训练资料时效的不同问题。
先理解这个概念
预训练通常指模型在较大数据集上进行的初始训练，用来学习可在后续任务中复用的表示和能力。语言模型常通过预测后续词元等目标学习文本规律，但具体目标因模型而异。预训练完成不等于已经适合对话服务，之后可能还需微调等阶段；它也不能保证模型记住的资料完整、准确或持续更新。
训练目标与用户期待的行为不同
若训练任务是根据前文预测后续文本，模型学习的是文本延续规律。用户后来要求它解释表格，这与训练时的形式并不完全一样。后续训练可以帮助模型遵循指令，但不能据此把所有阶段都合称为一次聊天式学习。
基础模型研究强调广泛数据训练以后适配多种任务。这个范围不意味着每个任务都已验证，也不代表数据没有偏差。查看模型说明时，应确认训练目标与公开的数据范围，把未披露内容保留为未知，不能从模型名称补齐细节。
与继续预训练和微调区分使用
继续预训练通常在已有模型上延续类似的训练目标，例如补充某个专业领域的文本。监督微调更常用任务输入与目标回答来调整行为。实践中的名称可能有交叉，判断时应看数据格式和优化目标，而不是只看项目标题。
直接调用已经预训练的模型生成结果，则属于推理使用，不会因为输入了一份资料就自动发生预训练。对话上下文和模型参数是不同的存储位置。服务是否另外使用会话资料训练，需要查看具体政策，不能从一次回答推断。
选择模型要检查资料时间和任务范围
模型预训练以后，外部世界仍会变化。询问刚发布的工具功能时，旧训练资料可能不足，需要提供新依据或使用检索。模型回答得具体不代表资料更新到了当天，日期和事实仍应回到原始公告核对。
评测应覆盖实际希望完成的任务，单独检查事实错误与指令遵循。若考虑自己训练，先确认已有模型能否通过适配满足要求，并计算数据和计算资源条件。本文解释训练阶段，没有预训练实验，也没有给出适用于所有模型的数据量门槛。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明，实际使用时请核对所用工具的版本。