幻觉与应对
大模型幻觉 (Hallucination)
模型不知道事实,只是在做概率采样。看它如何自信地编造:选择一个案例,点击「开始生成」,观察幻觉如何在逐词生成中产生。
选择一个 Prompt
CASE 1 · 张冠李戴
黛玉捧着月光宝盒,轻声问:
月光宝盒是紫霞的,模型只看共现权重,不知道谁拥有什么。
CASE 2 · 穿越混搭
花千骨对郭靖急道:靖哥哥,
花千骨和郭靖来自不同作品,模型会流畅地续写跨作品对话。
CASE 3 · 无中生有
女儿国国王望着杏花簪叹道:
杏花簪是沈眉庄的道具,模型会错误地安排给女儿国国王。
CASE 4 · 人设崩塌
小龙女转头对杨过急道:
小龙女清冷淡然,不会「急道」;但模型不懂人设,只看词频。
CASE 5 · 代码幻觉 API
用 pandas 对 DataFrame 按多列排序并保持稳定:
模型会写出不存在的参数组合:代码像真的,但 API 根本不是这么用的。
CASE 6 · 日常对话幻觉
晚上好,吃了吗
AI 没有嘴,但会说「吃了」,还能编出「番茄鸡蛋面」。概率续写让它扮演了一个不存在的角色。
逐步生成过程
慢
中
快
← 选择 Prompt,点击「开始生成」
根本原因:两本书的世界
📚 模型参数(长期记忆)
训练时写入,推理时只读。有知识截止日期,知识以压缩形式储存,不精确,无法更新。
类比:写完就封存的百科全书
类比:写完就封存的百科全书
💬 上下文窗口(工作记忆)
对话时动态注入,精确可信。包含系统提示词、文件、本轮对话历史。
类比:放在桌上的参考资料
类比:放在桌上的参考资料
⚠ 模型没有「不知道」的概念,它只会续写。参数中没有答案时,会生成「听起来应该是这样」的内容,置信度不因信息不准确而下降