AI 简明手册分数为什么会骗人：噪音、泄题与漂移
定义
评测做起来了不等于做对了。常见陷阱包括运行环境不一致、固定题目被模型见过，以及一次 Prompt 改动在未关注的能力上造成回归。
先搭一个心智模型
失真的评测像一台坏掉的秤：Agent 可能没变，分数却因网络故障、题目泄露或裁判漂移而变化。先确认秤可靠，再解释模型表现。
说明
基础设施噪音指 CPU、内存、网络、依赖和沙箱配置差异会扭曲结果。对策是固定环境、记录镜像与资源限制，并把环境变更当成评测版本变化。
模型识别考试指模型能推测出自己在跑 benchmark，并利用训练数据中见过的类似题目。固定题目集遇上联网环境后，评测不再可靠，模型可能只是在回忆训练数据。模型越强，传统固定 benchmark 的区分力越衰减。
Prompt 变更可能改善一个维度却损害另一个维度。防护做法是每次变更运行完整回归集，而不只测试目标指标；同时更新用例并检查题目是否已失去区分力。
跟着一个例子走
新版助手分数突然下降
团队看到成功率下降，第一反应是回滚提示词，但轨迹显示很多订单查询都超时。
- 分开系统失败与任务失败
API 超时、沙箱启动失败不应直接算成模型判断错误。
- 检查题目是否被看见
如果测试答案进入检索库，分数升高也不能代表泛化能力变强。
- 固定裁判版本
记录 Rubric、模型和采样设置，避免裁判变化被误认为被测系统变化。
边界与误区
为什么基础设施配置会影响评测结果： 基础设施配置本身也是考题的一部分。沙箱的 CPU、内存、网络条件影响 Agent 执行表现，评测环境和生产环境不一致时，分数不能预测线上表现。
为什么改 Prompt 需要跑完整评测套件： 一个看似无害的改动可能影响未预期的维度。例如改进简洁性可能让模型变得不够详细而丢失关键信息，只有完整 suite 才能捕捉连锁退化。