Agent 的累计输入成本
定义
Agent 会在多轮中反复携带系统指令、历史和工具结果,因此输入常成为主要成本。I/O Ratio 可用来观察输入与可见输出的比例,但不存在适用于所有 Agent 的行业阈值。
说明
每次模型调用都可能重新处理固定前缀和已累积历史。轮次越多、工具返回越大,累计输入越容易超过输出;是否能复用缓存取决于前缀稳定性和 Provider 实现。
统计时要明确口径:按单轮、单任务还是重试后总量;是否包含缓存命中、推理用量与被截断内容。不同口径的 I/O Ratio 不能直接比较。
比例异常上升时,应查看是否重复发送无关历史、工具返回未截断、任务拆分不合理或循环没有退出条件。它是排查信号,不是质量分数。
边界与误区
为什么 Agent 的输出很少,成本却可能很高: 模型可能在每轮重新读取系统提示、历史和工具结果,输入累计才是账单主体。
怎样判断 I/O Ratio 是否异常: 先用同一任务和同一统计口径建立基线,再比较版本变化;不要照搬一个通用阈值。