Harness 是什么:模型外面的工作台
定义
Harness 是模型外面的工作台:它决定给模型看什么、能用哪些工具、怎样保存进度、如何检查结果。所谓“改进 Harness”,通常是改这套工作台,而不是让模型直接改写自己的权重。
先搭一个心智模型
同一位厨师放进不同厨房,效率和出错率会不同。模型像厨师,Harness 像厨房里的备料、工具摆放、操作流程、计时器和质检规则。
说明
Harness 是围绕基座模型的运行时系统,决定如何组织上下文、调用工具、保存制品和验证结果。模型能力与 Harness 设计共同决定最终表现,不能只看其中一项。
外围改进通常更容易回滚和做对照实验,因为变化可以落在可检查的提示、配置、工具或代码中。后续词条再展开候选如何搜索、评测和接受。
递归与安全边界的具体问题见“让 Harness 改进自己”;本页只区分外围系统改进与模型直接改权重。
跟着一个例子走
模型不变,只改运行方式
一个编码 Agent 经常忘记运行测试。团队先不换模型,只调整模型外围。
- 把测试变成明确步骤
Harness 在修改后提示并执行相关测试,而不是期待模型每次自行想起。
- 记录失败证据
命令、退出码和错误摘要进入任务状态,下一轮能从失败处继续。
- 用同一任务集比较
旧版和候选版运行相同任务,只有回归可接受时才保留改动。
边界与误区
为什么本专题先从 Harness 层讲自我改进: 这里关注更容易隔离、回滚和做对照实验的模型外围。直接修改模型权重是另一类问题,不属于本专题的讨论范围。
Harness 层和模型智能哪个更重要: 没有脱离任务的统一答案。实际效果来自模型能力、上下文、工具与验证机制的协同,应通过同一评测分别替换变量。