梯度对齐奖励能否让监督变成同策略?Baseten 用 Qwen3-8B 实测
自动整理 · 基于采集摘要,未逐条核验
本站整理于
事件要点
Baseten Base Labs 探讨梯度对齐奖励能否在保留专家示范作为学习信号的同时,对学生自身采样做梯度更新。该方法把学生 rollout 与专家示范的 log-likelihood 梯度做余弦相似度打分,并给出仅需两次标准反向传播的高效实现。实验在四数字 Countdown 上用 Qwen3-8B 进行,专家 rollout 由 Opus 5.5 生成。
阅读说明
事件要点来自采集摘要;相关背景引用本站已有资料,帮助理解术语,不作为本次事件的新事实。产品效果、适用条件及后续变化请查看原始资料。
原文来源
来源与采集进展
| 来源 | 报道标题 | 原文发布时间 | 本站收录时间 |
|---|---|---|---|
| labs.baseten.co | 梯度对齐奖励能否让监督变成同策略?Baseten 用 Qwen3-8B 实测 | 2026-11-14 08:24 | 2026-11-14 08:32 |