AI 简明手册评测：持续发现与约束幻觉
定义
评测和人工审核是控制幻觉风险的外部纠错层。上线前建立幻觉测试集设定准入标准，上线后按风险等级人工把关高风险内容，再通过线上错误反馈持续迭代模型和提示词。
说明
上线前先准备带已知答案、来源和判分规则的样本，记录模型在目标业务中的错误基线，并为上线设定可接受门槛。后续每次改模型、提示、检索或工具链都在同一口径上回归。
上线后需要分级审核机制：低风险回答可以直接发出，涉及医疗、法律、金融等高风险内容则先人工审核再发布。人工审核不只是把关，还会产生反馈闭环。审核中发现的幻觉案例应被收集为 Bad Case，用于调整提示词、更新知识库或优化模型策略。
这套机制需要进入产品流程，而不只是运营手段。幻觉率应像加载时间一样写成可量化的验收指标，例如写入 PRD 中的阈值要求。高风险场景中，AI 更适合只做初稿，最终确认必须由人完成。
边界与误区
为什么幻觉率目标不应该是 0： 所有大语言模型都可能产生幻觉，这是概率生成机制带来的固有问题。把目标定为 0 会导向无法落地的追求，更现实的思路是根据业务风险设定可接受阈值，并用评测和审核把风险控制在阈值内。
哪些内容必须人工审核： 医疗、法律、金融等一旦出错会造成实质损害的内容，应当由人做最终确认。一般咨询、摘要、客服等低风险场景可以采用相对宽松的自动发布策略，但仍需要监控和抽检。
评测基线为什么必须在上线前建立： 只有先有可量化的幻觉率基线，上线后才能判断优化是否有效。上线后根据线上真实数据持续更新测试集和审核反馈，也能让评测体系与产品风险保持同步。