トークンのぞき見
文章を貼ると、ChatGPT系AIが文章をどう区切って読んでいるかを色分けで見られるツールです。
ツール無料登録不要PC・スマホ対応
作品の公開：
できること
- 貼り付けた文章を、AIが読む「トークン」という単位ごとに色分けします。
- 文章全体のトークン数と文字数を確認できます。
- 日本語と英語で、同じ意味の文章のトークン数を比べられます。
- トークンにまつわる豆知識を読めます。
入力した文章の扱い
入力した文章の処理はブラウザ内で行われ、このツールのためにサーバーへ送信する仕組みはありません。
この紹介ページでは閲覧状況を知るためにアクセス解析を利用しています。詳しくはプライバシーポリシーをご覧ください。
注意点
- 正確な色分けの対象は、OpenAIのChatGPT系で使われる方式です。
- ClaudeやGeminiは文章の分割ルールが一般公開されていないため、このツールでは扱っていません。
- 入力できる文章は最大5,000文字です。
更新履歴
- urara.devで公開しました。
関連記事
作者
麗（うらら）が、AIと相談しながら作っている個人開発のツールです。
作者からひとこと
無料プランのAIで長い文章を扱っていたとき、「この文章はどのくらいのトークンになるんだろう？」と思ったのがきっかけです。文章を貼ると、OpenAI系AIの方式を使ったトークン数と区切り方を目安として確認できます。「トークンって何？」と気になったときにも、気軽に試してみてください♪