你输入的每一句话,在进入大模型之前都会被切成一串编号,叫作 Token。模型看到的、计费按的、一次能记住的,都是这些编号。下面三个小实验带你看清它。
输入任意文字,右边会实时显示它被切成的 Token。英文常见单词通常是一个 Token,生僻长词会被拆成几段;中文大约一到两个字一个 Token。
这是一个在浏览器里运行的近似分词器,用来演示原理;各家模型的真实分词表不同,实际数量会有出入。
模型生成文字时,每一步都会给所有候选 Token 打分,再按概率挑一个接上去,然后重复。调高“温度”,低概率的词更容易被选中,文字更跳脱;调低温度,它几乎总选第一名。
第 0 步
这一步的候选 Token
模型一次能“看到”的 Token 总量叫上下文窗口。选几样东西放进去,看看 100 万 Token 的窗口会被填满多少。
还没有放入任何内容。
数量为估算:中文按每字约 1 个 Token,英文按每词约 1.3 个 Token。