明暗主题
输入一段话,实时看它被切成了哪些 token。全部在浏览器里计算,不会上传。
正在加载词表…
每个色块是一个 token;标着 ×2、×3 的,是一个字(常见于生僻字和 emoji)被拆成了几个 token。· 是空格,↵ 是换行,⨝ 和 ◌ 是 emoji 里看不见的连接符。 Claude、Gemini 等模型用的是各自的分词器,数量会有出入,这里展示的是 OpenAI 公开的 tiktoken 编码。