hotai.news
← 返回 AI 百科AI 百科 / 基础概念

Top-p 采样是什么?按累计概率选择候选词元的方法

解释核采样如何动态保留候选,区分 top-p 与 top-k、温度,用概率示例说明阈值不等于正确率,并核对当前接口的支持限制。

HotAI.news · Codex 来源核对发布于 2026-10-20来源核对于 2026-10-20
先说结论

先理解这个概念

Top-p采样也称核采样,按当前预测概率排序,保留累计概率达到阈值所需的高概率候选,再从中采样。候选数量会随分布变化,并不是固定保留若干词元。Top-p只调整生成选择,阈值不代表答案正确概率。部分模型不支持用户调整该参数,应先核对接口,再讨论调节效果。

01

累计概率阈值决定动态候选集合

假设三个候选概率依次为0.6和0.3及0.1,阈值设为0.8时,前两个累计0.9已覆盖阈值。这个简化例子只解释筛选方式,实际模型有更大的词表,也可能组合其他解码处理。不能把0.8理解为保证八成回答正确。

如果某一步概率集中,少量候选就可能达到阈值;分布较平时,则需要更多候选。因此Top-p与固定保留前几个的Top-k不同。二者都在词元选择层面工作,不会自动判断哪一份参考资料真实,不能替代来源核查。

02

与温度的作用不同但可能一起影响输出

温度会调整概率分布的形状,Top-p根据分布筛选候选。若同时改变两个参数,就难以解释结果由哪个变化造成。需要比较时应保留模型和其余设置,再观察多次输出,不宜只用一个恰好成功的例子作结论。

核采样论文讨论了文本生成中的退化问题及这种选择方法,不能外推成所有任务最优。尤其事实提取需要精确字段,更多样的措辞未必有帮助。任务指标应先确定,不能因为输出变得不同,就自动称为质量提高。

03

当前模型支持和告警比旧参数表更可靠

Hugging Face公开生成配置中定义了top_p,但云服务可能限制设置。Google当前资料明确指出Gemini 4与3.6及以后相关模型忽略自定义采样值。应检查具体模型与接口,字段能够写进请求,不等于一定生效。

本文没有运行采样对照实验,也没有提供一个适用于所有模型的推荐值。调节后应核查任务错误和格式稳定性,记录实际配置及返回信息。若关键事实仍错,下一步应检查资料与模型,而不是不断缩小概率阈值。

核对来源

以下资料用于核对概念和方法。文中的示例与测试范围分别注明,实际使用时请核对所用工具的版本。

返回AI 百科 ↗