Ollama 与 LM Studio 怎么上手

操作步骤

1. Ollama 安装后

   Ollama 可用 ollama run <model> 拉取并进入对话，也提供模型列表、删除和运行状态等命令；本地 API 默认监听地址与 OpenAI 兼容范围应查看当前文档，并避免把服务暴露到不受信任网络。

2. 读懂模型标签与实际量化档位

   模型标签通常编码系列、尺寸和量化信息，但默认量化会随模型库条目变化。与官方 API 比较前，应记录确切模型 digest、量化格式、上下文和采样参数。

3. LM Studio 提供模型浏览器

   LM Studio 提供模型浏览、下载、试聊与本地服务界面。选择 GGUF、MLX 或其他格式要看当前硬件和运行时支持；两个工具可以并存，但同一测试应固定模型文件与参数。

完成检查

• Ollama 不写量化后缀时拉的是什么版本： 默认通常是量化后的条目，但具体档位会随模型库变化。对比前应记录实际 digest、量化格式、上下文和采样参数。

• 为什么本地模型生成速度突然慢很多： 可能是显存装不下，工具自动把部分模型放到内存用 CPU 计算。应先检查模型是否完全装入显存，或减小上下文长度。