大模型原理 · 基础原理概念

词表与训练

定义

词表把文本映射为 Token 编号；训练再通过嵌入、注意力层和其他网络参数学习这些 Token 在不同上下文中的表示与关系。不存在一张固定的“全局词间关联表”直接决定所有生成。

说明

文本先由 tokenizer 切成 Token 序列。Token 可能是词、子词、字符片段或字节，不同词表会把同一句话切成不同编号序列。

训练会更新嵌入和网络权重，使模型能根据位置与上下文计算下一 Token 的分布。注意力权重是在具体输入上动态计算的，不是训练后固定保存的一张词对词矩阵。

边界与误区

Token 和普通的词有什么区别： Token 是模型处理文本的最小单位，可能是完整的词，也可能是词的一部分。为了控制词表规模并处理未登录词，分词器常把生僻词拆成多个子词 Token。
Token 之间的关系是怎么学到的： 模型通过训练语料和优化目标更新大量参数；推理时再根据当前上下文动态计算表示与注意力，最终得到候选 Token 的概率分布。