AI 简明手册大模型幻觉
定义
大模型幻觉是生成了与事实、来源或任务约束不一致的内容。模型优化的是条件生成概率，不会自动为每句话附上可靠的真伪判断。
说明
回答主要受两类信息影响：训练后保存在参数中的模式，以及本次上下文提供的指令、文件和检索结果。参数知识可能不完整或过时，上下文也可能缺失、冲突或被误读。
当证据不足时，模型仍可能生成语言上顺畅的补全，例如混淆人名、日期或 API 参数。流畅度和事实正确性不是同一指标，不能靠语气判断。
降低风险要把“生成”与“核验”拆开：提供可信资料、要求引用可打开的来源、对关键字段做程序校验，并在健康、法律、财务等高后果场景保留专业复核。
追问“你确定吗”有时会促使模型重新检查，但也可能只生成另一版同样无依据的答案。验证应回到外部证据，而不是继续依赖自信程度。
边界与误区
模型为什么不直接说“不知道”： 模型只会续写文本，没有主动判断“我不知道”的机制。它在参数中没有答案时会基于概率生成看似合理的内容，而不是停下追问或承认知识缺口。
上下文窗口里的信息和参数里的知识哪个更可靠： 上下文窗口里的内容更可靠。它是你明确提供的信息，模型会把它当作精确前文使用；参数里的知识是压缩过的训练记忆，可能过时或不准。
为什么 AI 的胡说八道很难靠语气发现： 它在生成时追求的是语句像不像自然文本，而不是真不真。编造句和真实句都流畅自信，所以单凭感觉分不出来。