#tiktoken

同一篇文章，韩语却要1.4倍token — 我用自己博客的285篇实测了非英语token税

我把同一篇文章以ko/ja/en/zh四语发布的博客285篇，用三种真实分词器逐一分词，测量非英语的token成本。 韩语是英语的1.38倍，日语1.34倍，而且分词器的代际更替实质上是给非英语文本的一次打折。