robots.txtは本当に効いているのか?90日間のアクセスログで検証してみた

AI学習を拒否する方法のひとつに、robots.txt があります。
これはざっくりいうと、Web上を巡回しているボットに対して「ここは巡回していいよ」「ここは巡回しないでね」というお願いを書くファイルです。
主に、次のような目的で使われています。
- 検索エンジンに重要なページだけを効率よく見てもらうため
- ボットの過剰な巡回を防ぎ、サーバーの負荷を減らすため
- サイトマップの場所を伝えるため
- AIの学習データとして使われるのを拒否するため
このように使われていることが多い一方で、SNSを見ていると
「AIクローラーは robots.txt を守ってくれない」
という噂を見かけることもありました。
私自身も、以前 「robots.txtとは?」 という解説記事を投稿しているのですが、正直なところ
「robots.txt って、ほんとうに効いているのか?」
と、半信半疑な状態でもあったのです。
そこで今回は、自作アクセス解析の直近90日間の生ログをもとに、 「robots.txt で巡回を『許可しない』と指定する設定(Disallow)は、AIクローラーに対して本当に効いているのか?」 を徹底的に検証してみました。
この記事のデータについて
- 対象期間:2026年8月15日 〜 2026年11月13日(直近90日間の生ログ)
- 出典:
urara.devの自作アクセス解析(Cloudflare Workers + D1)による実測値 - 補足:一部期間(2026年11月11日以前)は名乗り(User-Agent)と接続元ネットワークをもとに分類していた記録を含みます。
検証対象:15種類のAI学習クローラー
今回の検証対象となったのは、下記のAI学習クローラーです。
GPTBotClaudeBotCCBotGoogle-ExtendedApplebot-ExtendedBytespidermeta-externalagentFacebookBotAmazonbotcohere-aiなど
当サイトでは2026年11月現在、基本的にAI学習クローラーの巡回を許可していますが、一部のページだけは巡回を「許可しない」設定にしています(上記の10種類を含め、主要な 15種類のAI学習クローラー が対象です)。
そのため、巡回を許可しているエリアと、「許可しない」と指定しているエリアのアクセスログを比較し、各クローラーが指示を守っているかを実測値で確認しました。
本物のAIクローラーは「0件」だった(ちゃんと効いていた!)
まず、正規のAIクローラー(本物と判定されたもの)が、許可エリアと許可しないエリアにそれぞれ何回アクセスしたかを比べてみました。
結果は、とてもはっきりしたものになりました。
| ボット名 | 全体 | 許可 | 許可しない |
|---|---|---|---|
Amazonbot |
474件 | 143件 | 0件 |
ClaudeBot |
316件 | 59件 | 0件 |
Meta(meta-externalagent 等) |
257件 | 117件 | 0件 |
GPTBot |
96件 | 13件 | 0件 |
Bytespider |
75件 | 6件 | 0件 |
CCBot |
75件 | 17件 | 0件 |
Cohere(cohere-ai) |
65件 | 0件 | 0件 |
Amazonbot や Meta、ClaudeBot、GPTBot などは、サイト全体や許可エリアには何十回〜何百回と巡回してきているにもかかわらず、 「許可しない」と指定したエリアには 1件も来ていません(すべて 0件) 。
「そもそもサイトに来ていないから 0件だった」というわけではなく、 「許可エリアは巡回し、許可しない場所だけはしっかり避けている」 ということが実測データから確認できました。
大手サービスが運用している本物のAIクローラーに対しては、robots.txt は想像以上にきっちり効いています。
本物は0件なのに……「許可しない」エリアに来ていたのは誰?
では、許可しないエリアにボットがまったく来ていなかったかというと、 そうではありません 。
ログをさらに詳しく見ると、 3つのパターン でアクセスしてくるボットが存在していました。
①同じ会社なのに? 書き漏れた「別名ボット」
Anthropic(Claude)の2つのボットを例にあげて見てみましょう。
Anthropicのボットには、学習用の ClaudeBot と、検索用の Claude-SearchBot があります。
このうち、 私が robots.txt に書いていたのは学習用の ClaudeBot だけでした。
すると、学習用の ClaudeBot はきっちりと許可しないページを避けた一方で、検索用の Claude-SearchBot は普通にアクセスしていることが分かりました。
| ボット名 | 役割 | 許可エリア | 許可しないエリア |
|---|---|---|---|
ClaudeBot |
学習用 | 59件 | 0件 |
Claude-SearchBot |
検索用 | 2件 | 2件 |
同じ会社から来ているボットであっても、ボット名が違う場合は制限の対象外となり、そのままアクセスしてくるということです。
「検索用ボットも含めて一切AIに読んでほしくない」という場合は、そのサービスが持つすべてのボット名を並べて書かないと、 別名のボットは普通に読みに来てしまいます 。
②非公式ネットワークから来る「なりすまし(詐称)ボット」
AIクローラーの名前を名乗ってやってくるのは、本物の正規ボットだけではありません。
大手クローラーを自称しているものの、公式ではないネットワークから来る なりすましボット(「詐称の疑い」があるボット) もいます。
この詐称ボットたちが robots.txt を守っていたかというと……
- 本物の
GPTBot: 0件 GPTBot(詐称の疑い): 1件
やはり、守っていませんでした。
このほかにも、ChatGPT-User、Perplexity-User、Googlebot、Applebot、Baiduspider、BingBot などを名乗る「詐称の疑い」のあるアクセスが数件ずつ記録されていました。
そもそも名前を偽装しているようなボットなので、当然ながら robots.txt のルールも守りません。
③ボット名を名乗らずに来る「クラウド経由のボット」
最後は、クローラー名を名乗らずに、クラウドサーバーやレンタルサーバーからやってくる自動アクセスです。
実際に、許可しないエリアに対して以下のようなアクセスが記録されていました。
- 海外クラウド・ホスティング事業者経由の自動アクセス(
Tencent Cloud64件、Feo Prest43件、OVH29件、M2479件、Google Cloud7件、AWS4件、Hetzner4件 など) - その他の名乗りなし・一般ボット(28件)
これらはそもそも、アクセス時のボット名(User-Agent)に「自分はAIクローラーです」と書かれていないため、robots.txt でボット名を指定して止めることができません。
番外編:そもそも名乗らない「Grok」はどうなる?
ここまで「名乗らないボットには robots.txt が効かない」というお話をしましたが、その代表例として触れておきたいのが xAI の「Grok」 です。
OpenAI や Anthropic と比べてみると、なぜ Grok に対しては robots.txt で対策しにくいのかがよく分かります。
| サービス | 公開されている主なボット名 | 接続元(IP等) | robots.txt での個別指定 |
|---|---|---|---|
| OpenAI(ChatGPT) | GPTBot / OAI-SearchBot / ChatGPT-User |
公開 | できる |
| Anthropic(Claude) | ClaudeBot / Claude-SearchBot / Claude-User |
公開 | できる |
| xAI(Grok) | 名乗り(User-Agent)の公式記載なし(※) | 非公開(※) | 難しい |
補足
※私が2026年10月に確認した時点の xAI 公式資料では、学習用クローラーの存在(xAI Web Crawler)には触れられているものの、実際に名乗る文字列(User-Agent)や robots.txt での書き方、アクセス元の一覧は確認できませんでした。
また、検索やユーザーからの依頼でページを読みに来る動きも特殊です。
以前 Grok に私のサイトの点検を頼んだとき、アクセス解析には Grok の名前が1件も残らず、代わりに Chrome や Safari など普通のブラウザを名乗る、国や回線がバラバラのアクセス が集中していました。
(※私のログだけでは Grok だと断定はできませんが、Cloudflare やセキュリティ企業 DataDome の調査報告でも、自己識別をせず一般的なブラウザを名乗って複数IPからアクセスする挙動が指摘されています)
さらにややこしいことに、過去ログを「Grok」で検索して見つかった GrokBot や xAI-Grok を名乗るアクセスは、秘密の設定ファイルを探し回る不審なアクセス(なりすましの疑い) でした。
| 区分 | 公式資料や調査で分かったこと | robots.txt での対策 |
|---|---|---|
| 学習用クローラー | 存在は明記されているが、名乗り(User-Agent)やIP一覧が非公開 | 名前が分からず個別指定しにくい |
| 検索・点検の取得 | ログに Grok 名が残らず(外部報告でも普通のブラウザを名乗る挙動あり) |
名乗らない場合は見分けられない |
GrokBot 等の名乗り |
過去ログで確認されたものは秘密ファイルを探す不審なアクセス | なりすましの疑いがありルールを守らない |
つまり Grok に関しては、
- 公式ボット:ボット名(User-Agent)が分からないので
robots.txtで対策のしようがない。 - 名乗ってくるボット:「なりすまし」の疑いがあり、そもそもルールを守らない
という状態なのです。
「大手クローラーの多くは robots.txt を律儀に守ってくれる」というのが今回の結論ですが、Grok のように識別情報が公開されていないケースもあるため、やはり robots.txt だけに頼りきらない意識 が大切だと感じています。
あわせて読みたい(Grokの詳しい調査記録)
まとめ:robots.txt は意味があるのか?
今回の調査で分かった結論は、とてもシンプルでした。
- 本物の大手AIクローラーには 100% 効いている
- こちらが書いていないボットは普通にアクセスしてくる
- 詐称ボットや名乗らないクローラーには効かない
robots.txt は万能な壁ではありませんが、 「大手AIサービスの公式クローラーに対して、自分の意思を正しく伝える手段」 としては十分に機能しています。
一方で、世の中には robots.txt を読まない偽装ボットや、名乗らない自動収集プログラム(スクレイパー)、そして番外編で触れた Grok のように識別情報が公開されていないケースも存在します。
だからこそ、
- 大手の公式AIクローラーに対する意思表示は
robots.txtで行う - それでも無視してアクセスしてくる不審なボットが問題になる場合は、Cloudflare などの入口対策(WAF)で防ぐ
- そして何より、 「本当に外に出したくない情報は、そもそも公開ページに置かない」
という役割分担で考えておくのが、個人サイトにとって一番現実的で振り回されない付き合い方だと感じました。