大模型原理 · 幻觉与三种应对概念

Temperature：控制采样随机性

定义

Temperature 和 Top-P 都影响采样随机性：Temperature 改变候选分布的尖锐程度，Top-P 限制参与采样的候选范围。参数方向可概括为“越低越保守、越高越发散”，具体取值必须按模型和任务评测。

说明

模型生成每个 Token 时会先得到候选分数。Temperature 调整分数差距：降低后高分候选更占优势，提高后低分候选更有机会；Top-P 则只保留累计概率达到阈值的一组候选。

事实抽取、分类和合规输出通常更看重稳定性，创意生成更看重多样性。但不同 Provider 可能对参数范围、默认值和零值行为有不同定义，不能跨模型照搬一组数字。

低随机性不等于正确。它只会让模型更稳定地选择高概率答案；如果知识错误或输入不足，输出仍可能稳定地错。事实准确性要靠资料、检索、引用和评测解决。

边界与误区

Temperature 和 Top-P 有什么区别： Temperature 通过缩放分数改变整个概率分布的尖锐程度，影响所有候选词；Top-P 圈定从累计概率最高的词开始、达到阈值的那部分候选词，控制采样范围。两者可叠加使用。
为什么事实问答场景要全程低温，而不是只降低某几步： 采样参数无法区分哪一步需要保守、哪一步可以发散，对每一步同样起作用。事实问答要求每步减少随机性，应整体低温；创意场景才适合整体放开。
把 Temperature 调到 0 能保证答案正确吗： 不能。0 只是每步都选最高概率词，输出很稳定，但如果模型缺乏正确知识，最高概率词依然可能是错的。它控制采样随机性，不是知识边界。