大模型原理 · 从补全到对话概念

chat/completions 之谜

定义

在 completion 风格的大模型 API 中，对话会先被编码成带角色标记的上下文，再由模型继续生成后续 Token。聊天界面是产品交互形式，补全是这类接口的生成机制。

说明

每次调用 API 时，系统提示词、历史消息和用户消息会被拼成一段完整文本，模型从这段文本的末尾开始预测并生成后续 Token，直到产生终止符。

理解“对话等于补全”对使用 API 很重要：所有内容拼在一起后占用的 Token 数直接影响成本和质量。历史消息越长、系统提示越详细，单次请求消耗越大。

理解这层转换有助于分析上下文、缓存和计费：系统指令、历史消息和当前输入最终都要进入模型请求。不同 API 可能采用不同端点和消息格式，不应把某一家路径名当成所有模型的统一实现。

边界与误区

为什么说聊天是“假象”： 因为模型本身没有对话的概念。它看到的只是一段被格式化好的文本，从标记为 assistant 的位置开始继续生成。对话的来回只是人类在外层组织的文本结构。
System Prompt 在补全过程中起什么作用： System Prompt 作为上下文最前面的内容参与拼接，用来设定角色和行为规则。它和用户消息一样都是前文，共同影响模型后续生成的概率分布。