AI 简明手册为什么要把模型做小
定义
把模型做小主要是为了降低推理成本与延迟、满足离线和数据边界，并适配资源受限设备。小模型是否可用取决于任务评测，不是参数越少越好。
说明
远程旗舰模型可能受费用、网络、可用性和数据流向限制；较小模型可以在本地或专有环境运行，为稳定高频任务提供更可控的延迟与成本。
尺寸只是变量之一。量化、上下文长度、并发、硬件带宽和推理后端都会改变实际资源占用，具体估算见硬件选型词条。
小模型可通过直接训练、裁剪、量化或蒸馏等路径获得。这里讨论做小的动机；蒸馏如何传递教师信号见下一词条。
边界与误区
小模型的成本优势有多大： 没有跨平台统一倍数，应在相同任务、质量门槛和吞吐条件下比较端到端成本。
什么时候不该为了本地运行而选更小模型： 当任务质量无法达标、维护本地推理的总成本更高，或需要的能力只在远程模型上可靠提供时。