以前、Cloudflare Workers と D1 を使って個人サイト(urara.dev)のアクセス解析を自作したお話を投稿しました。

2026年8月投稿記事

個人サイトのアクセス解析を自作してみた

このアクセス解析は、人間の訪問者よりも ロボットたちの観測 に力を入れたものになっているのですが、

最近ログを眺めていて「ある疑問」にぶつかったんです。

GooglebotやGPTBotって名乗っているけれど…… これって本当に本物なの???

今回は、自作アクセス解析の 「ボット判定と本人確認」を大幅にパワーアップさせたお話 をまとめました。

「ボット」って何? 敵なの? 味方なの?

サイトにやってくるボットの4つの顔

Webの世界でいう「ボット(Bot)」。 実は「ロボット(Robot)」の略で、ネット上を自動で巡回するプログラム全般のことを指しています。

「ボット」と聞くと、サイバー攻撃や迷惑プログラムといった悪いイメージを持つ方も多いかもしれませんが、必ずしも悪いものばかりではありません。

例えば、GooglebotやGPTBotなどの正規クローラーは、サイト運営者によってもスタンスが分かれるところです。

「自分の記事を勝手にAI学習に使われたくない!AIボットはお断りだ!」

という方もいれば、

「いやいや、検索やAIにしっかり見つけてほしいから、私はAIボット大歓迎!」

という人もいます。

そんな中で私のサイト(urara.dev)では、基本的に 「検索やAIの正規クローラーであれば歓迎」 というスタンスを取っています。

そして、サイトにやってくるロボットたちを大きく4つのグループに分けて考えています。

ロボットたちの4つのグループ

  • 🟢【歓迎】正規のクローラー GoogleやBing、OpenAIなど、正しく巡回してくれる本物たち
  • 🔵【普通】SNSのプレビュー XやDiscordでリンクを貼った時にアイキャッチを取りに来るボット
  • 🟡【怪しい】人間のふりをした自動巡回 データセンター(サーバー)から普通の人のふりをしてアクセスしてくるもの
  • 🔴【追放!】スキャナ・探索者 サイトのパスワードや秘密情報を探す、本物の攻撃者

事件発生:第1の関所をすり抜けてきた「偽Googlebot」

もともと私のサイトでは、 Cloudflareのエッジ防御(WAF) を第1の関所として使っています。 そのため、WordPressやPHPの脆弱性を狙ったベタな攻撃は、入り口で門前払い(ブロック)されてサーバーにすら届きません。

つまり……いま自作アクセス解析のログに見えている怪しいアクセスは、第1の関所をすり抜けてきた猛者たちなんです。

ある日、ログを眺めていたらこんな通信が記録されていました。

すり抜け犯の例

  • User-Agent(名乗り): Googlebot
  • 見に来たURL: /.env

/.env とは、パスワードや秘密の設定情報が書かれたファイルのことです。

「……え??? Googleがパスワード設定ファイルを探しに来たの???」

そんなわけありませんよね(笑)。

実は、第1の関所のフィルターをかいくぐるために、「Googlebot」という有名クローラーの名前を騙って、裏で秘密のファイルを探し回るスキャナが紛れ込んでいたのです。

第1の関所をすり抜けた偽Googlebot

本物が「.env」を探しに来ることはあるの?

.envをとりにきたGooglebotは、大手企業の名前を騙っているだけの、いわゆる「なりすまし」だったわけですが、

「正規クローラーが /.env を見に来る可能性ってほんとうにゼロなの?」

という疑問がわいてきます。

結論から言うと、GoogleやOpenAIなどの大企業が自発的な総当たり攻撃で秘密ファイルを探しに来ることは100%ありません。

みんな知っての通り、規約や法律を守って動く大企業の真面目なクローラーだからです。

ただし、例外的に本物がやってきてしまうレアケースが2つだけあります。

本物が来ちゃうレアな例外

  • どこかにリンクが貼られてしまった場合:掲示板やGitHub等に誤って urara.dev/.env のリンクが書かれ、それをGooglebotが真面目に辿ってしまった時
  • AIに指示を出した人がいる場合:ユーザーがChatGPTに「このURL(urara.dev/.env)を読んで要約して」と指示し、ChatGPTがユーザーの代理(ChatGPT-User)として見に来てしまった時

これを知ったとき、ChatGPTからは「怪しいアクセス元は一発でアクセス禁止(BAN)にしよう!」という過激な提案も出たのですが、思いとどまりました。

もし先ほどのレアケースで本物のGooglebotを遮断してしまったら、サイト全体の検索順位が吹き飛んでしまいます。

そこで今回は、無理に遮断するのではなく、 「相手の正体を完璧に見破って、4つのグループへ綺麗に仕分ける仕組み」 を作ることにしました。

正体を見破る3つのステップ

では、どうやって「名乗り」に騙されず、ロボットたちの正体を暴くのか? 今回実装した仕分けロジックは、次の3ステップです。

ステップ① 行動を見る(名乗りに関わらずスキャナを隔離)

相手が「Googlebot」と名乗っていようが、普通のiPhoneのふりをしていようが、関係ありません。

/.env や /.git/config といった「普通の人が見るはずのない秘密ファイル」に触ろうとした通信は、名乗りに関係なく最優先で 🔴【追放!】スキャナ・探索者 へ直行させます。 (※もちろん、普通のページが見つからなかっただけの通常の404エラーは巻き込まないよう安全に判定しています)

ステップ② 出どころを見る(データセンターからの巡回をあぶり出す)

次に、秘密ファイルには手を出していないものの、「普通のブラウザ」を名乗ってやってくる通信をチェックします。

アクセス元のネットワーク(ASN)を調べ、AWSやGCP、Azureといった クラウドデータセンターから一般人を装って来ている通信 は、人間のアクセス数から除外して 🟡【怪しい】人間のふりをした自動巡回 へ分類します。

ステップ③ 公式名簿で「本人確認」を行う

残った「正規のクローラーを名乗るボットたち」に対して、いよいよ本当の本人確認を行います。

実はGoogleやMicrosoft(Bing)、OpenAIなどは、「うちの正規ボットはこのIPアドレス帯からアクセスします」という公式名簿(IPレンジ一覧)をネット上に公開しています。

この公式名簿を日次バッチで自動取得しておき、やってきたIPアドレスと突き合わせます。

  • 公式名簿と一致した! → 本物と証明されたので、堂々と🟢【歓迎】正規のクローラーへ!
  • SNSのURLプレビューだった! → アイキャッチを取りに来ただけなので🔵【普通】SNSのプレビューへ!
  • 名乗りとIPが一致しない… → 自称ボットや未確認プログラムとして🟡【怪しい】自動巡回へ!

さらに、毎回外部へ問い合わせに行くとサイトの表示が遅くなってしまうため、公式名簿は深夜の裏側でまとめて手元のデータベースにキャッシュしておき、訪問者の読み込みスピードには一切影響しないように工夫しました。

管理画面がスッキリ! 4つのグループが丸見えに

自作アクセス解析の管理画面

この仕組みを導入したことで、自作のアクセス解析ダッシュボードが見違えるほど分かりやすくなりました!

4つのグループの集計

  • 🟢【歓迎】正規クローラー 本物のGoogleやGPTBotが何回巡回してくれたか
  • 🔵【普通】SNSプレビュー XやDiscordでリンクが何回展開されたか
  • 🟡【怪しい】人間のふり データセンターから何回こっそり巡回されたか
  • 🔴【追放!】スキャナ探索 どんな秘密ファイルを探して諦めて帰ったか

これらが4つの色分けカードと一覧でひと目で把握できます。

さらに、各行をクリックすると「そのボットがサイト内のどのページを見に来たか(探索パス一覧)」までアコーディオンで展開できるようになり、眺めているだけでめちゃくちゃ面白いダッシュボードになりました。

これまで「Googlebotって書いてあるけど怪しいな…」とモヤモヤしていたログが、白黒ハッキリして最高の爽快感です!

おわりに

「検索やAIにはしっかり見つけてほしいけれど、悪質ボットとは分けたい」

個人サイトを運営していると、誰もが一度はぶつかるテーマだと思います。

最初は「怪しい通信は全部ブロックしちゃえば?」と思いがちですが、AIと相談しながらリスクを整理したことで、 「遮断して検索順位を落とすリスクを避けつつ、正体を完璧に把握して楽しく可視化する」 という判断になりました。

自分の手でログの正体を暴き、ダッシュボードに仕分けられていく感覚は、個人サイト×個人開発ならではの醍醐味です。