AI 简明手册蒸馏的代价：模型正在变得越来越像
定义
多个学生共享同一教师、底座或合成数据时，错误可能相关。蒸馏带来的口吻、格式和知识偏差应当作为待测风险，而不是假定不同模型名称就能提供独立交叉验证。
说明
蒸馏目标会鼓励学生模仿教师输出，因此教师的表达偏好和系统性错误可能一起传递。传递程度取决于数据、损失函数和后续训练，不能从血缘关系直接断言结果必然相同。
多模型校验只有在错误足够独立时才有价值。若候选共享教师、底座或大批相同合成数据，应通过成对错误相关性和分歧样本评测，而不是只看厂商名称。
降低风险的方法包括选择训练来源不同的模型、保留非模型校验器、用真实领域数据做回归，并把模型版本与来源写进评测记录。
边界与误区
共享教师一定会让输出一样吗： 不会。底座、训练方法和后续数据都会产生差异；共享来源只是需要测量相关错误的风险信号。
多模型交叉验证什么时候有价值： 当模型在关键错误上具有足够独立性，并且分歧能由外部证据或规则裁决时。
如何降低模型生态集中带来的风险： 记录模型来源，评测错误相关性，组合不同底座与非模型校验器。