Token 是什么？为什么 AI 按它收费？

说明

编码通常经历四步：程序拿到 Unicode 文本，将它表示为 UTF-8 字节；tokenizer 再按已训练好的词表和合并规则寻找片段；每个片段映射成一个整数 ID；模型最后读取这些 ID 对应的向量。模型并不是直接看见人类眼中的“词”和“字”。

BPE（Byte Pair Encoding）及其变体会在训练语料中统计经常相邻的小单元，并把常见组合逐步加入词表。编码时，常见片段可以合成较大的 Token；少见人名、代码、连续数字、表情或中英文混排更容易退回到较小片段。这里的“大块”来自既定词表，并不是按中文语法或英文单词边界现场分词。

空格也参与编码。例如 hello 与 hello 在一些词表里都可能各占 1 个 Token，但会对应不同的 Token ID，因为后者把前导空格包含在片段中。另一些切分结果会出现无法单独显示的字节片段；只有把相邻 Token 的字节重新拼起来，才会还原成完整字符。

切分结果取决于具体 encoding。下面的实例是本项目编辑时使用官方 tiktoken 0.14.0 得到的本地结果：o200k_base 把 你好，世界！ 切成 4 个 Token，而 cl100k_base 对同一句话得到 7 个 Token。这个差异说明“一个汉字等于一个 Token”不是可靠规则，也不能把某个示例外推到所有模型。

聊天请求里还有用户看不见的结构，例如消息角色、系统提示、工具定义和特殊分隔符，它们同样可能占用上下文。因此本地切分适合预估正文，最终用量应以目标模型的官方 tokenizer、计数接口或 API 返回的 usage 为准。

上下文窗口、输入输出限制和多数 API 计费都以 Token 为单位。账单还可能区分输入、输出、缓存读写或推理相关用量；分类和价格由具体 Provider 与模型决定，不能把所有内部计算统一叫作“隐藏 Token”。

跟着一个例子走

边界与误区

• Token 不是词： 它是模型词表中的编号单位，边界不必符合中文分词或英文单词边界。

• Token 数不是固定常数： 模型、版本、encoding、语言、空白和字符组合都会改变切分结果。

• 可见正文不是完整请求： 系统提示、角色标记、工具定义和输出预留也会占用上下文。

• 估算不能代替实测： 做限长、截断或成本控制时，应在真实请求链路上统计，并以 Provider 返回的 usage 核对。