权重是什么?一个模型的全部本事
定义
权重就是模型训练结束后留下的大量数字,是模型全部能力凝结成的文件。拿到权重,就能在自己的机器上离线运行模型,不再依赖服务商;文件体积大致等于参数量乘以每个参数占用的字节数。
说明
模型内部没有规则数据库或条件分支,只有一个巨大的数字表格,每个数就是一个权重。训练的目标就是把这些数从随机值逐步调整到合适取值。训练完成后参数冻结,对话时模型只读不写,不会从聊天中持续学习。
权重文件的最低体积可由参数量和每参数位宽粗略估算,但运行还需要 KV Cache、临时张量和运行时开销。实际显存应交给目标引擎与上下文设置测量,完整方法见本专题的硬件选型词条。
权重的意义不只是文件本身,它代表控制权:离线运行不受限流或下架影响,可在此基础上继续训练或微调,数据也不需要离开自己的机器。只提供 API 的模型出租的是使用权,价格、可用性和生命周期都由服务方决定。
边界与误区
模型在聊天时能学到新东西吗: 不能。训练完成后权重冻结,对话阶段只读不写。用户告诉它的内容不会被写回模型文件,下一次对话不会自动记住;继续微调或训练时才可能改变权重。
权重文件多大,是否就需要同样多显存: 不是。权重只是下限,运行时还会增加上下文和临时缓冲;量化格式、后端与是否部分卸载到内存也会改变结果。
有权重和只调 API 的根本区别是什么: 有权重意味着可以离线运行、自行微调和数据不出内网,拥有控制权;只调 API 只是按条件租用能力,关键决定权在服务商手中。