AI 简明手册谁来打分：代码、模型与人工
定义
Grader 是评测系统的裁判。常见做法是组合代码 Grader、模型 Grader 和人工复核：确定性条件交给代码，主观质量由带 Rubric 的模型评分，高风险或校准任务保留人工判断。
先搭一个心智模型
三种 Grader 像三类裁判：代码裁判量得准但只会看硬指标，模型裁判能看语义但会漂移，人工裁判最懂语境却无法覆盖每一次运行。
说明
代码 Grader 通过字符串匹配、正则、静态分析、单元测试等方式自动判定，速度快、成本几乎为零、客观可复现，适合有明确正确答案的任务，但局限是对合理变体过于严格且无法评判主观质量。
模型 Grader 让另一个 LLM 按评分标准打分，能评判文笔、逻辑性、创造力等主观质量，适用于开放任务。关键技巧是 Rubric 要具体到每一分，好的 Rubric 应明确每个分数对应的标准。
人工 Grader 提供最高质量反馈，能发现自动化盲区，但不可扩展、速度慢、成本高，适合评测初期校准评分标准或高风险场景。推荐混合策略：代码 Grader 打底，模型 Grader 扩展，人工定期抽检校准评分漂移。
跟着一个例子走
同一条退款回复由三类裁判分工
助手完成一次回复，团队既要检查底线，也要判断解释是否清楚。
- 代码检查硬条件
确认没有在缺少审批编号时调用退款工具，并核对订单号是否一致。
- 模型按 Rubric 看表达
判断是否解释了拒绝原因、是否遗漏下一步，但评分标准必须写成可观察条件。
- 人工校准高风险样本
定期复核边界案例，比较模型裁判与业务专家的分歧并更新 Rubric。
边界与误区
模型 Grader 的 Rubric 应该怎么写： 把每个等级写成可观察条件，例如是否回答完整、是否有关键事实错误、结构是否清楚；避免只用“优秀”“一般”等抽象形容词。
三种 Grader 在混合策略中分别承担什么角色： 代码 Grader 保证底线，覆盖确定性场景；模型 Grader 提升上限，评估主观场景；人工 Grader 校准裁判，定期抽检评分是否漂移。