AI 简明手册
AI 成本工程 · 四层实战优化控制模型的输出长度

控制模型的输出长度

定义

输出 Token 会影响账单和返回时间,但单价是否高于输入取决于模型。控制输出可从指令、数据格式和接口能力入手:明确结果边界、只返回必要差异,并在 Provider 支持时设置停止条件。

说明

模糊的“请简洁回答”不容易验收。更有效的写法是定义允许的字段、最大项目数和不要出现的内容,例如不寒暄、只输出结果。实际节省量应使用目标模型和真实任务测量。

文字润色任务不必总让模型重写全文。可以只输出修改片段或结构化替换指令,再由程序执行;这样能减少重复输出,也便于用户审查改动。

部分 API 支持停止序列或最大输出长度。它们能在接口层终止生成,但匹配规则、计费和返回原因由 Provider 定义;使用前应核对文档,并避免截断出不完整的 JSON 或代码。

边界与误区

  • “请简洁回答”为什么不够有效:“简洁”太抽象,模型不确定到什么程度才算简洁。明确列出不要寒暄、不要总结、不要客套等负向约束更可执行。

  • 润色为什么用 Diff 而不是全文重写: 全文重写会产生大量与源文重复的输出 Token。只输出修改片段或替换指令,成本更低、速度更快,还能让用户直接看到改动。

  • 停止条件和 Prompt 里的长度要求有什么区别: Prompt 依赖模型遵守;API 停止序列或最大长度由服务端执行。匹配、计费、是否写入历史以及截断原因都由 Provider 定义。