AI 简明手册你的电脑能跑多大的模型
目标
本地模型能否运行取决于权重格式、上下文、KV Cache、运行时缓冲、并发和是否卸载到内存。可靠做法是先算权重下限，再用目标推理引擎的估算与小规模实测确认峰值。
操作步骤
先算权重占用下限
参数量乘以每参数位宽只能估算权重体积；量化格式还可能包含比例因子和元数据。模型卡或文件实际大小比一条通用系数更可靠。
再加入上下文与运行时开销
KV Cache 会随上下文、批量和层结构变化，临时张量与后端实现也会占显存。用目标引擎在计划上下文和并发下测峰值，不要重复套两份“安全余量”。
最后确认平台与卸载策略
独显、统一内存和 CPU 卸载的容量、带宽与速度不同。MoE 还要区分总参数与每 Token 激活参数；是否能装下和生成多快是两项指标。
完成检查
INT4 模型是否适合日常任务： 不能只看位宽。效果取决于原模型、量化方法、校准数据和任务；应在目标任务上比较质量、速度和内存。
MoE 模型为什么容量和速度不一致： 权重容量通常要考虑总参数，而每个 Token 只激活部分专家；实际速度还受内存带宽、专家路由和运行时实现影响。
怎样确认机器真的装得下： 先用模型文件和引擎估算权重、KV Cache 与缓冲，再按计划的上下文和并发运行小规模测试，观察峰值与是否发生卸载。