训练 vs 推理:两个不同的过程
定义
训练负责调整模型参数,推理负责在参数固定时根据输入生成输出。普通对话发生在推理阶段,不会因为一次聊天就改写模型权重。
说明
训练用数据和优化算法反复更新参数,使模型在目标任务上降低误差;预训练、微调和对齐都属于训练,只是数据、目标和投入不同。
推理读取已经训练好的参数,处理当前上下文并生成回答。延迟和成本取决于模型、硬件、输入输出长度与服务方式,不能简单归结为固定的 GPU 数量或耗时。
许多产品会把用户明确保存的偏好、历史摘要或外部资料在新对话前重新放进上下文,因此看起来“记得你”。这是产品记忆层,不代表底座模型在实时训练。
账户记忆、聊天记录和训练数据是三个不同概念。换产品后信息是否能迁移,取决于导出能力、数据格式和用户授权,而不是模型参数。
边界与误区
为什么 AI 不记得上一轮说的话: 如果相关历史没有进入当前上下文,模型就看不到;是否保留跨会话记忆由产品层决定。
训练和推理哪个成本更高: 训练通常需要处理大量数据并反复更新参数,单次项目投入远高于一条推理请求;具体量级取决于模型和部署方式。
为什么 AI 感觉越来越懂我,却没在实时训练: 通常是产品保存并回填了偏好或历史摘要,底座参数并未随每次对话改变。