AIクローラーとは？個人サイトのアクセスログで実際に来ていたBotを調べてみた
先日、個人サイトのアクセス解析を自作した話をブログに上げました（▶個人サイトのアクセス解析を自作してみた）。
そのアクセス解析を作る中で私が興味をもったのが、「AIクローラー」 の存在でした。
当サイトurara.devのような小さなサイトにもAIクローラーが来ていることに驚いたのです。
では、AIクローラーは何をしているのでしょう。
そもそも「クローラー」って何？
クローラーは、Web上のページを自動的に巡回するプログラムです。
ページを取得したり、リンクを辿ったりしながら、Web上の情報を集めていきます。
中でも有名なのがGooglebotです。
Google検索のためにWebページを巡回しているbotですね。
ただ最近は、検索エンジンだけではなく、AIを提供している会社も独自のクローラーを動かしています。
つまり、最近のWebを見ているのは人間だけじゃないんです。
- 検索エンジン
- AI
- その他のBot
なども普通にアクセスしているのです。
AIクローラーは何のために来るの？
ここが少しややこしいところでした。
「AIクローラー」と一括りにしても、目的はbotごとにちがいます。
ですが、大きく分類すると3種類に分けることが出来ます。
AIクローラーの目的
- AIモデルの学習に使うため
- AI検索や回答のために情報を取得するため
- AIサービスの機能としてページを取得するため ::: などです。
同じ会社でも、目的ごとに別のクローラーを使っていることがあります。
なので、
「ChatGPTが来た」＝全部GPTBot
というわけではないんですよね。
クローラーの名前だけでなく、
「何のためのBotなのか」
まで見ないと分からないようです。
じゃあ、自分のサイトには誰が来ている？
ここから実際にurara.devのアクセス解析を見てみたいと思います。
こちらはurara.devのアクセス解析画面です。
表示されているのは直近７日間のAIクローラーの記録になります。
すこし表示の修正を加えているので正確なデータではないかもしれません（悪質クローラーやなりすましクローラーなどが混入している可能性があります）が、これだけの自称AIクローラーが当サイトにも来ているんですよね。
実際に見つかったAIクローラー
先ほど載せたこちらの画像を表に変換したものがこちらです。
| クローラー | 運営元 | リクエスト数 | 最終アクセス |
|---|---|---|---|
| ChatGPT-User | OpenAI | 114 | 08/15 15:02 |
| Amazonbot | Amazon | 89 | 08/15 23:07 |
| OAI-SearchBot | OpenAI | 71 | 08/13 00:38 |
| GPTBot | OpenAI | 48 | 08/15 07:48 |
| CCBot | Common Crawl | 43 | 08/10 11:28 |
| ClaudeBot | Anthropic | 33 | 08/16 10:36 |
| PerplexityBot | Perplexity AI | 28 | 08/10 11:44 |
| Google-Extended | 21 | 08/10 11:45 | |
| YouBot | You.com | 2 | 08/16 07:40 |
興味深いのは、ChatGPT系（OpenAI）のbotが3種類もあるところです。
AIクローラーといっても用途ごとにクローラーを分けていると書きましたが、ChatGPT系もそのひとつ。
もっともアクセスがある「ChatGPT-User」は、これは利用者起点で走るクローラーです。
たとえば、ChatGPTに「このページを見て」などの指示した場合などに回ってくるローラーですが、この件数がなんと114件もありました。
・・・・全部、私自身です（笑）
私が自分で「ブログネタ探して」「プライバシーポリシー不自然じゃない？」「このアプリどう思う？」などと質問を投げました。
ほかのChatGPT系botのうち、OAI-SearchBotは、検索用のクローラーです。ChatGPTが何らかの回答をするにあたり、当ブログの内容を参考にした（かもしれない）ということですね。
そして、GPTBotは、学習用のクローラーです。「AIに学習されたくない」という人は、このクローラーを拒否しておく必要があります。
どのページを見に来ている？
私のアクセス解析ではAIクローラーのページごとのアクセスランキングを出していません。
なので、どのページがもっともAIクローラーに閲覧されているのかはわかりませんでした。
など、blogよりもworks、つまり作品そのものを見に来ていることが多かったです。
てっきりblogのほうが多いかと思っておりましたので、すこし意外な結果になりました。
robots.txtも見てみる
ところで、この解析結果をみて、少し疑問に思った人もいるかもしれませんね。
「AIクローラーって拒否できないの？？」
実は、AIクローラーを拒否することもできるのです。
webサイトの多くには、robots.txtというページがあります。（設定していないサイトも多いです）
このrobots.txtは、
:::note 「クローラーさん、このサイトではここを見ていいよ or ここは見ないでね」 ::: と伝えるためのページです。
そこに書いておくことで、
- 特定のAIクローラーだけ拒否をする
- 検索は許可するけど、学習は拒否する
- 特定のページだけ拒否をする
といったことが可能になっています。
ただし、robots.txtはあくまでクローラーへの指示であり、クローラーがそれに従わないクローラーもいます。
そもそも「OpenAIになりすましてやりたい放題してやる」とか「パスワードが盗んでやるぜ！」とか、そんな目的で巡回しているクローラーなんかだと、従ってくれない可能性が高いです。
クローラーを管理する人たちの良心やマナーが問われるところですね。
「AIに読まれる」の正体が少し見えた
先日、AIはurara.devをどこまで把握しているのかを実験する記事を書きました。
:::note ▶AIは個人サイトをどこまで認識できる？
その裏側では、
- AIクローラーがページへアクセスする
- ページの内容を取得する
- 検索やAIサービスで利用される
- robots.txtなどでアクセス方針を伝える
といった仕組みがあるわけですね。
「AIがWebページを読んでいる」というと少し不思議な気もしますが、アクセスログを見ると、本当に何かが自分のサイトへ来て、ページを取りに来ていることが分かります。
そうやってwebは成り立っているのだな、と思いました。
人間が寝ている間にも、サイトには誰かが来ている
個人サイトを作っていると、普段気になるのはアクセス数くらいでした。
それも人間のアクセス数のことしか考えていなかったのですが、今回みたようにAIクローラーが私のサイトにも巡回に来ていることがわかりました。
そして、今回はAIクローラーをテーマに書いてきましたが、それだけではなく
- 検索クローラー（GoogleやMicrosoftの検索用クローラー）
- 知らない会社のbot
- 悪質なクローラー
などもたくさんきています。
人間から見ると静かなサイトでも、機械側から見ると、案外いろいろなものが出入りしている。
そう考えると、今までとはすこしWebサイトが少し違って見えてきました。
みなさんのサイト（HPやSNSなど）にも、ちょっぴり意外なお客様が来ているかもしれません。