蒸馏是怎么做的：从老师到学生

操作步骤

1. 准备任务数据与独立评测集

   训练数据要覆盖学生需要承担的任务，评测集则不能与训练样本混用。先定义质量门槛，才能判断蒸馏是否只是让输出更像教师。

2. 收集教师信号

   教师可以提供最终答案、解释轨迹或概率分布，具体信号取决于模型接口和训练方法。软目标能表达候选之间的相对关系，但并非所有闭源 API 都提供完整概率。

3. 训练学生并做独立回归

   用教师数据训练学生后，要分别评测任务质量、延迟、成本、偏差与越界行为。DeepSeek-R1 官方仓库提供了基于 Qwen 与 Llama 底座的蒸馏模型示例，但其结果不能替代本地任务验证。

完成检查

• 蒸馏为什么要保留教师的概率分布： 只看最终答案会丢失候选之间的远近信息，保留整张概率表能让学生了解老师如何权衡，同样数据训练效果更好。

• 温度系数在蒸馏中起什么作用： 较高温度会拉平教师分布，让低概率候选携带的相对信息更容易被学生看到；具体温度需要结合损失函数和验证集调节。

• 为什么同一教师会选择不同底座： 许可证、尺寸谱系、工具链和已有能力都会影响选择；具体模型关系应查看发布方模型卡，而不是从名字猜测。