bintylor

模型17447读的8936不是16937字,19113是21043 Token6188

你输入的每一句话,在进入大模型之前都会被切成一串编号,叫作 Token。模型看到的、计费按的、一次能记住的,都是这些编号。下面三个小实验带你看清它。

把文字切开

输入任意文字,右边会实时显示它被切成的 Token。英文常见单词通常是一个 Token,生僻长词会被拆成几段;中文大约一到两个字一个 Token。

0
Token 数
0
字符数
0
每个 Token 平均字符

这是一个在浏览器里运行的近似分词器,用来演示原理;各家模型的真实分词表不同,实际数量会有出入。

一次只写一个

模型生成文字时,每一步都会给所有候选 Token 打分,再按概率挑一个接上去,然后重复。调高“温度”,低概率的词更容易被选中,文字更跳脱;调低温度,它几乎总选第一名。

第 0 步

这一步的候选 Token

    一次能装下多少

    模型一次能“看到”的 Token 总量叫上下文窗口。选几样东西放进去,看看 100 万 Token 的窗口会被填满多少。

    025 万50 万75 万100 万 Token

    还没有放入任何内容。

    数量为估算:中文按每字约 1 个 Token,英文按每词约 1.3 个 Token。