大模型原理 · 基础原理概念

AI 的食物：训练数据

定义

训练数据是模型学习统计规律的材料。不同模型的训练规模差异很大，规模、质量、覆盖和去重共同影响结果；公开数字只有在说明模型、数据口径与版本时才可比较。

说明

Token 是文本经过 tokenizer 切分后的单位。训练时，模型从大量样本中学习上下文与候选 Token 的关系；数据规模只能说明接触材料的量级，不能代表内容完整、正确或无重复。

数据来源、质量、语言与领域覆盖会塑造模型行为。偏见、错误和重复可能进入训练信号；后续微调能调整行为与任务适配，但不能保证补齐预训练阶段缺失的所有知识和能力。

边界与误区

“万亿 Token 级”说明什么： 它表示训练语料规模远超个人可直接阅读的范围，但数量本身不等于覆盖了全部公开文本，更不代表数据都高质量或无重复。
为什么训练数据质量比数量更关键： 因为模型学到的是数据中的规律。数据里充满错误或偏见，模型就会学到错误和偏见；数据重复也会降低训练效率。高质量、多样化的数据才能在规模基础上发挥作用。