大模型原理 · 基础原理概念

GPT 的预训练范式

定义

GPT 路线的重要变化是先进行大规模生成式预训练，再通过提示或微调适配多种任务。它推动了从“每个任务单独训练”向“预训练模型复用”的转变。

说明

早期 NLP 系统常围绕单项任务训练或配置专用模型。生成式预训练路线先学习广泛文本规律，再用提示或微调适配任务，减少了每个任务从零训练的需求。

GPT 先在大规模文本上学习预测下一个 Token。随着规模、数据和训练方法变化，模型会形成可迁移的语言与任务能力。

这一思路形成了基础模型的核心逻辑：一次昂贵的大规模预训练，加上少量任务适配，就能支撑多种应用，而不是为每个任务从零开始。

边界与误区

GPT 与 BERT 的主要区别是什么： BERT 使用双向注意力，擅长理解文本，但预训练目标是填空，不适合直接生成；GPT 只看向左边的上文进行因果生成，预训练目标就是预测下一个词，与生成任务天然一致。
基础模型和 Base 模型是一回事吗： 基础模型是可适配多种下游任务的广义类别；Base 模型通常特指尚未经过指令对齐的预训练版本。一个 Base 模型可以是基础模型，但两词强调的维度不同。