直接偏好优化是什么？DPO 怎样学习成对回答的偏好
用客服答复比较解释 DPO，说明同一提示下的选择与拒绝样本、参考模型的作用，以及偏好数据不等于事实正确性证明的原因。
先理解这个概念
DPO是直接偏好优化，用同一提示对应的较优与较差回答训练模型，让它更倾向于偏好的输出。标准DPO方法不必先单独训练一个奖励模型，再执行传统的强化学习更新循环。它改变模型的生成偏好，但偏好标注可能有误，也不等于每个被选中的回答都事实正确，训练后仍需独立评测。
一组偏好数据需要共享同一个问题
假设用户询问缺货商品的到货时间，回答甲擅自承诺明天到货，回答乙说明资料不足并建议查询库存记录。若目标是依据资料作答，可以把乙标为偏好。这个例子展示数据结构，不代表本站训练过模型或验证了实际改进。
成对回答应对应同一提示及相近条件。把两个不同客户的问题随意配成一组，会使偏好含义不清。还要明确标注理由来自任务要求，而不是只选更长或语气更讨喜的文本，否则模型可能学习到不希望的习惯。
优化偏好与提供标准答案的方法不同
监督微调通常提供希望模型学习的目标回答，DPO则增加回答之间的比较。标准方法会利用参考模型约束变化，避免只凭一对样本无限提高某种输出的相对概率。具体训练配置需查看对应的实现说明。方法缩写并不包含全部运行要求。
DPO与人类反馈强化学习都可以利用偏好资料，但训练程序并不相同。没有单独训练奖励模型，不表示整个流程没有学习信号，也不保证所有任务都更便宜或更准确。比较时应说明采用的实现和实际任务，避免只比较方法名称。
训练后检查偏好是否损伤其他能力
评测应使用没有进入训练的提示，并单独核对被偏好的答复是否支持用户目标。例如答得更简洁以后，必要限制条件有没有被删掉，需要逐项查原文。偏好一致率上升，也不能替代对事实和任务完成的检查。
保存基础模型的同条件输出，加入模棱两可或资料缺失的问题，检查训练后的退化。标注标准变化时还需复查旧样本，不能假设此前所有选择永远正确。本文解释DPO机制，不提供实际训练成绩或统一的数据量门槛。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明，实际使用时请核对所用工具的版本。