Grokのクローラーは学習拒否できない？公式資料と実例を調べてみた

こんにちは。麗です。

先日Grokで自分のサイトの分析をしてもらったのですが、その後にアクセス解析を見たら、Grokのアクセス履歴が見つからなかったんです。

詳しくは前回のブログに書いたんですけれども、Grokに点検を頼んだ時間帯には、Grokとは名乗らずにSafariやChromeを名乗るアクセスが集中していました。ただし、ログだけでその正体は特定できていません。

通常、AIクローラーのアクセスには、robots.txtに指示を書いたりCloudflareなどの機能で制限したりできます。

もし今回のアクセスがGrokによるものなら、固有の名前を名乗らずSafariやChromeとして来ていたことになります。その場合、Grokだけを対象に閲覧を制限したり、学習を拒否したりするのは難しいかもしれません。

SafariやChromeをブロックするとしたら、人間のアクセスも巻き込まれてしまうから。そんなことしたら本末転倒ですよね。

今回、このGrokの学習拒否はできるのか？と言う点を調べてみました。

xAI の公式資料には何と書いてある？

まずは、公式資料を確認してみます。

Grok を作っている xAI は、クローラーについて何と説明しているのでしょうか。

公式の資料を調べてみたところ、分かったのはこんなことでした。

• 公開されているWebページを、自社のクローラーで集めて学習に使っている
• クローラーの名前は「xAI Web Crawler」
• でも、実際に名乗る名前（User-Agent）の文字列は書かれていない
• robots.txt での書き方も、アクセス元の一覧も書かれていない

※出典：Public Summary of Training Content for Grok 4.5（本文の最終更新表示：2026年7月8日・PDF、2026年10月確認）。

さらに、学習については、**「学習に使わないでほしい、という指示は尊重する」**という趣旨のことが書かれていました。ただし、資料で挙げられた例はXの利用者データについてで、Webサイト運営者が何をどこに設定すればよいかは分かりませんでした。

そのほか、

• 利用者に頼まれて Grok がページを読みに行くとき、どんな名乗りをするのか？
• robots.txt に従うのか？

こういった説明は見つかりませんでした。

つまり、書いてはあるものの、非常に曖昧なんですよね。

他の AI 会社はどうしている？

ところで他のAIの会社はどうしているのでしょうか。

Grokだけがこんなに曖昧なのか、それとも他のAIの会社も似たり寄ったりなのか、調べてみました。

OpenAIには「ChatGPT-User」というクローラーがいます。

これは、誰かがChatGPTに「urara.devについて教えて」などと質問したときにサイトに来るクローラーです。

他の大手AI企業もChatGPT-Userのように、利用者に頼まれて閲覧するときのクローラー名を公開していました。

会社	クローラーの名前	アクセス元の一覧
OpenAI	ChatGPT-User	公開
Anthropic	Claude-User	公開
Perplexity	Perplexity-User	公開
xAI	今回調べた利用者依頼のWeb取得では確認できず	確認できず

名前が公開されているのであれば、検索や学習を拒否したいと思ったときには、robots.txtに書いたりブロックしたりが可能なのです。

しかし、Grokに点検を頼んだときのように固有の名前を確認できない場合、robots.txtでそのサービスだけを指定して拒否するのは難しくなります。

サイトそのものを非公開にするとかChromeやSafariが来ないように対策をするとかになってきますが、それらは人間のアクセスに影響してくるので本末転倒ですよね。

Grok の学習は断れる？

そこで、疑問に思うのは

ということです。

robots.txt では User-agent: * のように広い相手へ指示することもできます。ただし、相手が従うかどうかは別で、固有の名前を確認できない相手だけを選んで除外することは難しいのです。

Cloudflare にも、AI クローラーを1種類ずつブロックできるスイッチがありますが、私が確認した当時の一覧には、今回の取得と結び付けられるGrokの名前はありませんでした。

アクセス元の回線で止める方法もありますが、今回Grokのものかもしれないと考えたアクセスには一般的なブラウザの名乗りもあり、人間のアクセスまで禁止してしまうおそれがあります。

つまり、

というのが、今回調べて分かったことです。

大手企業からのGrok名指しブログ

私だけの話ではないようで、Cloudflare も2025年の公式ブログで「xAI のボットは名乗らない」という趣旨のことを書いていました。

記事中では、かなり明確に、

xAIのボットであるgrokは自己識別を一切行わないため、ウェブサイトの運営者がこれをブロックすることは不可能です。 引用：Cloudflareのブログ（2025年時点の記述）

と書かれています。

また、DataDome というサイバーセキュリティの企業の実験では、私のサイトと同様に普通のブラウザを名乗って、さまざまな回線から読みに来ていたそうです。

Grokは、macOS上のChromeの異なるバージョンやiPhone上のSafariなど、さまざまな一般的なユーザーエージェントを切り替えて使用した。

サーバーのaccess.logファイルには、12個の異なるIPアドレスから発信された16件のリクエストが記録されています。

2025年12月11日に更新された、DataDomeのブログでは、このように書かれていました。

もしGrokのアクセスなら、なぜ名乗らないのか？を考察

今回のアクセスがGrokによるものだと仮定しても、なぜ固有の名前が見えなかったのかについて、xAI の公式な説明は見つかっていません。

他の大手のAI会社は名前を公開しているのに、今回のログでGrokの名前が見つからなかったのは不思議ですよね。その理由を私なりに考えてみました。

Grokが名乗らない理由は、AIクローラーと名乗ることでのデメリットがあるからではないかと考えました。

AIクローラーの検索や学習を拒否しているサイトというのは、世の中にたくさんあります。

ChatGPTにURLを渡したときに

「このサイトは見れませんでした」

と言われたことがある人も多いのではないでしょうか。

このようにAIからのアクセスを禁止しているサイトは、まぁまぁあるわけです。

「私はGrokです」と名乗ってしまうと、閲覧拒否しているサイトの情報を得ることが出来ません。

逆に名乗らずに人間のように振る舞えば、アクセスして情報を得ることができます。

これは、サイト運営者の立場からすると激おこ案件ですが、Grokユーザーの視点に立ってみると納得できました。

アクセス禁止のサイトにもアクセスできるということは、他のAIには取って来れない情報を取って来ることができるからです。

ユーザーとしては、助かりますよね。

つまり、Grokは業界の暗黙のルールやサイト運営者ではなく、ユーザーの検索体験を良くすることを優先しているのではないか、と私は考えました。

まとめ

最後に、この記事の内容をまとめて終わりにします。

私がGrokに点検を頼んだ時間帯には、SafariやChromeを名乗り、複数の回線からサイトを訪れるアクセスがありました。これがGrokによるものかは、ログだけでは確定できません。

つまり、少なくとも私のログには、Grokだと分かる名前が残っていなかったということです。

相手が識別できれば、robots.txtで閲覧禁止の指示を出したり、Cloudflare等の機能で制限したりできます。

識別できないアクセスだけを狙って制限することは難しく、広く制限すると人間の読者にも影響する可能性があります。

その理由は、おそらく「ユーザーの検索体験を優先したから」ではないかと私は考えましたが、技術的な事情など、別の理由もあるのかもしれません。

私はサイト運営を始める前から、Grokを愛用してきた一人のユーザーです。今回のことは、サイト運営者としての気持ちと、情報を探す利用者としての気持ちの両方を考えるきっかけになりました。

運営者としては「ちょっとなぁ」と思いますが、ユーザーとして非常にラッキーでもあり、なんとも複雑な気持ちになり、考えさせられました。