模型每轮到底看见什么：上下文工程

说明

更长的上下文不等于更可靠地利用信息。Chroma 的 Context Rot 报告显示，在其测试任务和模型中，输入增长时表现会以不均匀的方式下降；标准稠密自注意力的成对交互还会随序列长度呈平方增长。工程上应减少无关内容，并用自己的任务评测可用上下文，而不是把标称窗口当作目标。

高效上下文的原则是保持合适的抽象层级：System Prompt 给出角色定位与少量核心原则；工具描述像 API 文档一样清楚；Few-Shot 只保留能代表目标行为的示例。具体数量由任务评测决定。

跟着一个例子走

边界与误区

• Context Rot 具体指什么： Chroma 用这个名称描述其测试中“输入变长后，模型表现变得更不稳定”的现象。它是实验观察，不是所有模型、任务和长度下都按同一曲线下降的定律。

• 为什么上下文窗口不是越大越好： 窗口大小只是容量上限。无关内容会增加处理成本并可能干扰当前任务；标准稠密自注意力的计算还会随序列长度快速增长，具体成本会因模型实现和服务优化而不同。