模型推理是什么？训练完成后怎样把输入变成输出
解释模型推理与训练、复杂推理任务的区别，用文本分类和生成回答说明执行过程，并介绍速度、输出长度和运行配置应怎样比较。
先理解这个概念
模型推理通常指使用已有模型处理输入并产生预测或生成结果。识别一张照片属于推理，给语言模型一个问题并得到回答也属于推理。它不专指解决逻辑难题，也不等于继续训练。常见调用使用已有参数；应用若另有在线学习或记忆机制，应单独说明，不能因为回答改变就认定模型已经更新。
同一个词不一定表示复杂逻辑思考
英文inference在机器学习中强调使用模型，而产品所说的reasoning通常描述处理复杂问题的方式。一个简单垃圾邮件分类器同样在执行推理。比较产品时，应先确认讨论的是运行阶段，还是模型专门强化的解题行为，避免把两者混为性能承诺。
例如模型接收一封邮件，返回退款类标签，这次执行不需要产生长篇思考说明。另一项任务要求根据资料起草答复，也是在做推理，只是输出形式不同。任务复杂度和生成长度会影响等待时间，不能用一次分类耗时推断完整答复的速度。
调用前后还有模型之外的处理
文字输入可能先经过词元化，图片也通常需要准备成模型可接收的形式。完成预处理后才调用模型，拿到结果还可能需要解析格式和保存文件。用户感受到的总耗时包括这些环节，不能把模型内部某一步的速度当成整个任务已经完成的速度。
使用现成推理管线时，应核对任务类型、模型标识和对应的预处理器。只更换权重文件，却继续使用不匹配的分词器，可能得到错误输入。模型能够载入也不意味着当前设备能以希望的精度和速度完成你的具体任务。
比较速度时保存输入与结束条件
文本生成可以分别记录首段文字出现和整段回答结束的时间，再核对回答是否完整。输出因为达到长度上限而截断时，较短等待并不代表任务更快完成。应把停止原因与实际输出一起保存，避免把不完整答案混入比较。
同一模型的推理还会受到硬件与数值精度影响。比较时保持相同输入和生成要求，并把首次加载与后续运行分开记录。这里给的是测量方法，没有运行具体模型；实际部署前仍应验证结果正确，而不只确认接口返回了成功状态。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明，实际使用时请核对所用工具的版本。