こんにちは。麗です。

先日、「トークンのぞき見」というツールを公開しました。

AIを使っていると「トークン」という言葉を目にする機会がたくさんあるかと思いますが、「トークン」って何のことだかわかりますか？

AIが文字を扱う小さな単位のことです。

私たち人間は、文章を見たときに、そのまま文字や単語として読み、文字数を数えることが出来ますが、AIにはそれができないんですよね。

今回、公開した「トークンのぞき見」は、そんな「トークン」を理解するのにちょっぴり役立つ初心者向けのツールです。

そもそも「トークン」とは何なのか？

トークンとは、AIが文章を読むときに使う単位です。

人間は文章を見ると、文字や単語、文の意味を自然に捉えることが出来ますよね。

しかし、AIはそうじゃないんです。文章をいくつかの小さなかたまりに分けて捉えているんです。

たとえば、AIは文字をこのように捉えています。

「トークン」のむずかしいところは、文字数でもなければ単語数でもないところです。

じゃあ何なの？という話ですが、よく登場する文字の並びなどが、ひとつのまとまりになっています。

たとえば、「おはよう」は、「お/は/よう」と先ほど挙げました。

「よう」がひとまとめになっているのは、「よう」という文字の並びがさまざまな文章に登場し、ひとまとまりとして扱われているためだと考えると分かりやすいです。

など、意外と「よう」を使う言葉は多くあります。

一方で「おは」という文字の並びは、「よう」ほどいろいろな場面には登場しません。こうした違いも、分かれ方に影響していると考えるとイメージしやすいです。

##　「トークン」の注意点

トークンについて、注意しておきたいのは、使用するAIモデルやサービスによってトークンの分け方が異なることです。

今回公開した「トークンのぞき見」では、OpenAIの複数のモデルで使われているo200k_baseという方式を使っています。

さきほど上げた上記のトークン例もo200k_base を用いたものになっており、ClaudeやGeminiなど、別のAIでは異なるトークンの分け方が使われていることがあります。

日本語と英語ではトークン数が違う！？

ここからは実際に「トークンのぞき見」ツールを使いながら、トークンのちょっぴり面白いところを紹介していきます。

という言葉を、o200k_base 形式でトークンにすると何トークンになるでしょうか？

答えは9トークンです。

この言葉を英語に翻訳してみたいと思います。

この文章のトークン数はいくつになるでしょうか？

答えは7トークンです。

:::日本語vs英語 日本語：9トークン 英語：7トークン :::

日本語と英語では、同じ意味を持つ文章であってもトークン数は変わってきます。

ただし、これは「英語のほうが必ず少ない」という意味ではありません。

文章の内容や使う言葉によって結果は変わってきます。

漢字1文字で4トークン！？

トークンについて調べる中で、私がもっとも「面白い」と感じたのがこれでした。

「𠮷」という漢字がありますよね。

牛丼でおなじみの「𠮷野家」の「𠮷」です。

見た目は1文字ですが、なんとツールで確認すると、「𠮷」だけで4トークンに分かれました。

「𠮷」は、普段よく使われる「吉」とは異なる文字で、比較的珍しい漢字です。

人間には1文字に見えていても、AIの中では細かく分けて処理される場合があるようです。

これは、なかなか意外な結果でした。

「薔薇」は2文字で4トークン

続いて難解な漢字を見ていきましょう。

「薔薇」は2文字ですが、合計では4トークンになります。

「檸檬」も同じように、各漢字2文字ずつに分かれ、合計では4トークンです。

難しい漢字や、普段あまり使われない文字の場合には、私たちが思っている以上に細かいトークンに分かれることがあります。

絵文字とトークンの関係はどうなる？

実はトークンは、漢字やひらがななどの文字だけではなく、絵文字も対象になっています。

たとえば、お寿司の絵文字「🍣」は、2トークンに分かれます。

その他の絵文字も調べてみると、このようになりました。

人間から見ると一つの絵ですが、AIにとっては必ずしも一つのまとまりではないことがわかりますね。

まとめ

このツールは、私自身が以前長文出力を良くしていたころに、トークン数が自分で把握出来たら便利かも？と思ったことをきっかけに作りました。

ただ、ツールを作ってみてわかったのは、このツールで文章そのもののトークン数は確認できても、実際にAIサービス内部で使われる総トークン数まですべて把握できるわけではないということ。

そもそも、モデルやサービスによりトークンの分け方がちがうというのもあるのですが、サービスの仕様はそのサービスが決める動的なものだからですね。

ただし、「普段自分が何気なく送っている文章はいったいどのくらいのトークン量なのか」をなんとなく把握することの出来るツールになりました。

「トークンって何？」「なんだかよくわからないんだけど……」という、以前の私と同じ疑問を抱いている方には、すこしだけ役立つツールとなったかと思います。

• 自分の名前
• 好きな食べ物
• 難しい漢字
• 絵文字
• ひらがなだけの文章
• 日本語と英語で書いた同じ内容
• AIに送ろうとしているプロンプト

ぜひ、いろいろな文章を入力して試してみてください。