Agent 四大成本陷阱与熔断
定义
Agent 的真实成本风险主要来自工具返回爆炸、推理模式额外计费、死循环和历史记录膨胀四个方向。每个陷阱都有对应的工程解法:工具截断、按任务开关思考模式、熔断机制和历史压缩。
说明
工具返回膨胀是常见风险。查询或日志可能返回远超任务所需的记录,既推高单轮成本,又占满上下文。工具层应提供字段选择、分页、摘要和硬上限,超限时让模型缩小范围。
推理模式可能产生额外计费用量,是否可见、按什么类别收费由 Provider 与模型决定。简单抽取或分类未必需要高推理预算,复杂规划也不应默认无限开启;应按任务评测质量、延迟与总费用。
死循环需要轮次、Token 或费用预算与重复检测兜底。历史记录增长也会推高每轮输入,应限制保留范围并把长期状态外化;摘要与缓存取舍见相关词条。
边界与误区
工具返回值应该设置多大上限: 没有通用 Token 数。上限应由模型窗口、下游所需字段和最坏账单共同决定;超出时返回摘要、分页句柄或缩小范围提示。
熔断机制应该包含哪些条件: 常见做法是设置最大轮次、累计 Token 预算和死循环检测三个条件,任一触发就退出,返回部分结果而非无限等待。
怎样控制历史记录的成本: 为完整消息设置保留范围,把长期状态写入结构化制品;摘要、滑动窗口和稳定前缀的取舍见 KV Cache 词条。