AI 简明手册
大模型基础 · 从补全到对话伪造聊天记录

伪造聊天记录

定义

伪造聊天记录是把补全机器变成聊天助手的早期思路:构造一段未写完的对话,让 Base 模型续写 assistant 部分,再把新的往来内容拼成更长文本继续补全。

说明

具体做法是拼接一段用户与助手格式的文本,把 assistant 一栏留空,模型从那里开始补全。第一轮得到回答后,把上一轮的完整内容和用户的新问题重新拼成更长的待补全文本,再继续生成。

这种补全有时能输出合理回答,但并不意味着模型真正理解了内容。模型只是从训练语料里见过的相似片段中续写。例如它可能答出事先没有明确给出的关系信息,其实是语料中的高频共现,而不是逻辑推理。

边界与误区

  • 伪造聊天记录为什么能给 Base 模型派上用场: 因为 Base 模型只会续写文本。只要把对话格式设计成待补全的样子,它就会顺着 assistant 标记继续生成。这样不需要改造模型,就能利用其文本续写能力模拟对话。

  • 模型补出的答案可信吗: 不能等同于推理。它只是根据训练语料中的共现习惯续写,可能流畅但未必正确。补得像和真正理解是两回事,后续幻觉问题正是由此产生。