大模型原理 · 基础原理概念

Base 模型：Token 推 Token 机器

定义

Base 模型是预训练完成、尚未经过指令对齐的模型。它的核心任务是根据已有 Token 预测后续 Token，因此更像续写器，不会自动按助手规范回答或查阅外部资料。

说明

Base 模型的运行机制是一个循环：接收前文 Token，计算下一个 Token 的概率分布，从分布中采样得到新 Token，再将其追加到序列末尾，直到生成终止符。

给定一段开头，它会继续生成概率较高的后续内容。是否表现出常识、记忆或任务能力，要由具体模型、提示和评测判断，不能从“下一个 Token 预测”直接推断所有边界。

边界与误区

Base 模型为什么不能直接当助手用： 因为它只会续写文本，不懂如何回答问题。你问它“紫霞仙子是谁”，它可能顺着问题续写出文章片断，而不是给出准确答案。需要经过指令微调等后续训练才能变成对话助手。
Base 模型的“预测下一个 Token”是什么原理： 它基于前文计算每个候选 Token 出现的概率，再从概率分布中选出一个。选出的 Token 会接在末尾，成为新的前文，如此循环，直到出现终止信号。