RLHF 是什么？人类偏好怎样变成模型训练的反馈
解释人类反馈强化学习的典型过程，区分示范答案、偏好排序和奖励模型，并说明点击点赞为何不能直接证明模型即时学会了新规则。
先理解这个概念
RLHF是从人类反馈中进行强化学习，利用人的评价或偏好信号调整模型行为。语言模型的典型方案会收集同一问题下不同回答的比较，训练奖励模型，再通过强化学习优化生成模型。实现方式可以不同。人类更偏好的回答仍可能有事实错误，RLHF也不代表用户点一次赞，模型参数就会立即更新。
示范答案和偏好比较承担不同作用
InstructGPT论文描述了先收集示范进行监督微调，再使用回答排序训练奖励模型的流程。示范回答告诉模型期望的输出，比较资料则说明哪一份更受偏好。这是特定研究方案，不能假定所有厂商后续产品都采用完全相同的步骤。
例如两份摘要都读起来顺畅，其中一份漏掉原文的限制条件。标注者如果只关注简洁，可能偏好错误的一份。明确评价标准并保存比较理由，有助于检查训练信号，不能用偏好票数替代原文事实核对。
奖励模型学习评价但不等于真值裁判
奖励模型把回答映射为训练可用的分数，随后优化生成模型，让它更倾向于高奖励输出。这个分数是对收集到的偏好的近似，不是客观正确率。若奖励模型有盲点，优化也可能放大迎合评价的行为，而没有改善真实任务。
典型方案还会限制模型相对参考版本的变化，避免只追逐奖励导致行为偏离。具体算法与约束应按实现检查。DPO等方法也会使用偏好资料，但不必单独训练奖励模型，不能把所有偏好训练都写成同一种强化学习程序。
产品反馈与训练更新需要分别核实
聊天界面的赞或踩可能用于后续整理资料，也可能有其他处理方式，必须查看服务政策。它本身不证明当前模型已学习这条反馈。若下一次回答变化，也可能只是上下文或随机生成的影响，不能据此断言完成训练。
评估RLHF后的模型，应同时保留事实与任务完成检查，并观察是否过度迎合错误前提。本文核对公开论文与实现解释，没有进行偏好标注实验，也没有给出一组训练能带来的固定收益。选择方法仍应由具体错误和数据条件决定。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明，实际使用时请核对所用工具的版本。