長文で制限にかかる悩みから「トークンのぞき見」を作った話

無料プランのAIで長い文章を扱っていたころ、すぐに利用制限にかかってしまうことが悩みでした。

制限について調べると「トークン」という言葉が出てきます。

けれども、当時の私は、

「この文章は、いったい何トークンなのだろう？」

「文字数とは何が違うのだろう？」

と、いまひとつイメージできませんでした。

そこで作ったのが、文章の区切られ方を色で見られる「トークンのぞき見」です。

現在の機能や使い方は、トークンのぞき見の作品紹介ページにまとめています。

この記事では、なぜこのツールを作ったのかと、実際にいろいろな文章を試して驚いたことを紹介します。

数だけでなく、区切られ方を見てみたかった

最初は、文章を入力するとトークン数が表示されるだけのツールを考えていました。

しかし、数字だけを見ても「トークンとは何なのか」は、あまり分かりやすくありません。

そこで、文章がどのようなまとまりに分けられているのかを、色で見られるようにしました。

たとえば、私たちには一つの言葉に見えていても、AIで使われる方式では、いくつかに分かれることがあります。

反対に、複数の文字が一つのトークンとして扱われることもあります。

文字数とも単語数とも一致しないところが、私にとってはトークンの分かりにくさであり、面白さでもありました。

一つの方式に絞ることにしました

トークンの分け方は、すべてのAIで共通しているわけではありません。

サービスや使用するモデルによって、同じ文章でも結果が変わることがあります。

そのため、このツールでは、OpenAIで使われているトークン分割方式の一つである「o200k_base」に絞ることにしました。

「AIならすべて同じように数えられる」と見せるのではなく、どの方式で確認した結果なのかを明記するほうが大切だと考えたからです。

このツールで表示される結果も、すべてのAIサービスに共通する正解ではありません。

一つの方式を使って、文章がどのように区切られるのかを眺めるためのものです。

日本語と英語を比べてみました

ツールを作ったあと、同じような意味の日本語と英語を入力してみました。

日本語では、

今日はとても良い天気ですね。

という文章が、o200k_base方式では9トークンになりました。

英語では、

It’s a really nice day today.

という文章が7トークンになりました。

この例では英語のほうが少なくなりましたが、英語なら必ず少なくなるという意味ではありません。

使う言葉や文章によって結果は変わります。

実際に比べてみることで、同じような意味の文章でも、言語や表現によって区切られ方が変わることを実感できました。

一文字が、複数のトークンになることもある

試していて特に驚いたのが、珍しい漢字や絵文字でした。

たとえば「𠮷」という漢字は、人間には一文字に見えます。

しかし、o200k_base方式で確認すると、4トークンに分かれました。

「薔薇」は二文字ですが4トークン、お寿司の絵文字「🍣」は一文字に見えて2トークンでした。

普段は一文字として何気なく使っているものが、AIで使われる方式では、まったく違う単位に分かれることがあります。

色分けして見られるようにしたことで、トークンが文字数や単語数とは違うものだと、私自身も少し理解しやすくなりました。

作ってみて分かった、このツールの限界

開発前は、文章のトークン数が分かれば、AIサービスの利用制限も予想しやすくなるのではないかと考えていました。

しかし、実際にはそれほど単純ではありませんでした。

このツールで確認できるのは、入力した文章をo200k_base方式で分けた結果です。

AIサービスが実際に処理する全体の量や、あとどれくらい使えるのかまでは分かりません。

使用するモデルやサービスによって数え方が違うこともあります。

そのため、「この数字なら制限にかからない」と判断するためのツールではなく、普段書いている文章がどのくらいの単位に分かれるのかを眺めるための目安として公開することにしました。

分からなかったものを、少しだけ見える形にする

「トークン」という言葉だけを聞いていたころは、私には難しい仕組みに感じられました。

自分でツールを作り、文章を色分けしてみると、完全に理解できなくても、

「この言葉は一つにまとまるんだ」

「一文字でも、いくつかに分かれることがあるんだ」

と、少しずつイメージできるようになりました。

このツールだけで、AIの利用制限や内部の処理をすべて知ることはできません。

それでも、「トークンって何だろう？」と感じている方が、身近な文章で試してみるきっかけになれば嬉しいです。

自分の名前や好きな食べ物、絵文字などを入力すると、意外な分かれ方が見つかるかもしれません。

実際の機能や注意点は、トークンのぞき見の作品紹介ページをご覧ください。