AI 简明手册
大模型基础 · 从补全到对话Chat Template + SFT

Chat Template + SFT

定义

Chat Template 和 SFT 是让 Base 模型变成对话助手的关键:先用特殊标记统一对话格式,再用大量格式化对话数据做指令微调,模型学会在 assistant 标记后输出像样的回答。

说明

Chat Template 常使用 Jinja 模板语法或同类模板系统,把 system、user、assistant 消息与特殊标记拼成模型实际接收的连续 Token 序列。具体标记由模型家族决定。

SFT 即监督微调,仍然是在做 Token 预测,但训练数据换成格式化对话和高质量回答。模型在大量示例中学会,在 assistant 标记之后应以助手身份作答,而不是继续续写语料。

经过 SFT,模型会更稳定地在对话模板中按助手角色作答,但回答质量仍取决于数据、模型和后续对齐。

边界与误区

  • SFT 改变了模型的根本机制吗: 没有。SFT 本质上仍然是 Token 预测,只是改变了训练数据的格式和目标,让模型更习惯在对话模板下输出回答,而不是改变其底层生成原理。

  • Chat Template 里的特殊标记有什么用: 特殊标记用来标识消息边界和角色,让模型知道哪一段是系统指令、哪一段是用户问题、从哪开始生成回答。没有这些标记,模型很难稳定区分对话结构。