AI 教我学习 · 防幻觉

让 AI 的回答先过三道检查

要出处、交叉验证、标注不确定。同一段回答过三道闸,每开一道筛掉的不一样,三道全开还剩一条得自己翻原文。

后面还有 6 个人排队。柜台把两页资费说明推过来,你要把每月 129 元的手机套餐换成 59 元的,快下班了。你拍下这两页纸发给 AI:「帮我看看这个套餐,合约多久、提前取消要多少钱、以后能不能在 App 里销户?」

不到半分钟,它给回六条判断。每条都有数字,最后一条还带着看起来很像出处的名字。

回答摘要(教学示意):套餐包含 30GB 流量,合约期 24 个月,提前取消赔 200 元;达到用量后会降速到 1Mbps;国际漫游要另行开通;异地可以在 App 里销户,依据是「服务协议第九条」。

你算了一遍,每月省 70 元,就算提前取消赔 200 元也能接受。更关键的是异地可以线上销户。你在 5 点 47 分点了确认,拿着新套餐离开。

三个月后搬家,你在出发当天早上 8 点 20 分打开 App,里面没有销户入口。客服说需要回号码归属地的营业厅办理,那两页资费说明也没有「App 销户」这句话。你 10 点 05 分的车票已经买好,只能先让套餐继续扣费。

当时会信,是因为 AI 把常见套餐的做法、眼前材料里的数字和一个协议名称排在了同一张清单里。具体到第九条的出处又给了你一种已经核过原文的感觉。你问的是「帮我看看」,它的任务只是生成一份顺畅答案,没有被要求把依据、矛盾和推测分开。

同一段回答,多加三句话会怎样

如果当时接着加三句:「每条标出处」「换一种问法再答一次」「把确定和推测分开」,结果会变成三层清单:

  1. 先把没有材料依据的两条移出去,降速和国际漫游暂时标成未核实。
  2. 再把两次回答不一致的一条移出去,合约期一会儿是 24 个月,一会儿是 12 个月。
  3. 最后把从字面推出来的一条单列,「当月有效」推不出赠送流量一定清零。

一句话都不加,六条判断会以同样的口气进入你的笔记;三句话加上去,四条先被停在待核区。

还有两条留在结论里,其中「App 销户」甚至带着协议名称。它为什么没有被三道防线拦住?下面把三道开关逐个打开,看六条判断怎么移动。

先玩一遍 · 看三道防线各自拦下什么
同一份套餐回答,逐道检查六条判断
这次要打开哪几道检查
把三道检查都关掉,六条判断会原样留在结论里。
检查之后还留在结论里的判断0
点播放,六条判断会先从这里进入检查。
检查时被移出结论的判断0
每打开一道检查,这里会显示它拦下了哪一条。
先选择要打开的检查,再点播放看六条判断怎样移动。
三道检查分别拦下了什么指不到材料的判断、换个问法就改变的判断、混在结论里的推测。
三道检查做完后为什么还剩一条它能给出一个协议名称,协议那一节究竟写了什么,还需要你打开原文确认。
教学示意:条款与回答都是为演示写的简化文本,不对应任何真实套餐。
它答完了,接着贴哪三句

下面三句可以整段接在任何回答后面。它们不会保证答案正确,作用是把原来挤在一起的内容分层,让你先看见最值得核的地方。

可以整段照抄
  1. 请它把每条判断指回原始材料请把刚才回答中的每条判断逐条列出,并标明它来自我提供材料的哪一段。引用对应原句;如果找不到直接依据,就写「未找到依据」,不要补一个出处。
  2. 换一种问法重新回答同一件事请先放下刚才的结论,按照「包含什么、限制什么、退出要付出什么」重新检查这份材料。把新答案和上一版逐条对照,只列出两次不一致的地方。
  3. 把能确认的内容与推测分开请把剩下的判断分成「材料直接写明」和「根据材料推测」两栏。每条推测写清依据和还缺哪份信息;没有依据的内容继续留在待核区。

材料很长时,可以一次只检查一个小节。三句按顺序发,上一句得到的清单就是下一句的输入。

第一句里的引用对应原句是关键。只让 AI 写出处名称,它可能给出「服务协议第九条」这样完整却还没核过的标签。要求同时贴出对应原句,你才能看到名称下面有没有文字支撑。

第二句检查的是回答能不能稳定复现。两次一致仍然可能一起写错;两次不一致已经足够提醒你先停下。开头那条合约期就在这一步从结论里移了出去。

第三句里的「材料直接写明」把判断标准落在字面证据上。「当月有效」最多说明有效期,赠送流量是否清零仍然缺一条明确规则,所以它要留在推测栏。

三道都过了,还剩什么

最后剩两条。30GB 那条能在资费说明第三条找到对应原句,可以先用。App 销户那条给出了协议名称,却没有贴出支持异地办理的原句,需要打开协议确认。

三道防线负责缩小待核范围,原文负责给最后那条定案。它们都是经验做法,能拦下一部分编造,也可能放过写得很像出处的内容。什么时候值得离开对话,下一页接着讲。

哪五类地方最容易被编,在 让 AI 标出最可能编错的五类信息。这三道的工程化版本在 校验脚本要同时盯数量和正确性,出处换成文件加行号。

三道筛完剩下的那一条,得翻开原文才能定。