AIクローラー観察記 #1:2026年8月に来ていたボットたち

当サイト(urara.dev)では、2026年8月から自作のアクセス解析を稼働させています。
一般的なアクセス解析と違い、人間よりも「ボットのアクセス」に重きを置いた少し変わった仕組みです。
運用を始めてから3か月ほどが経過し、ログの傾向が掴めてきたため、ここまでの記録を振り返ってみることにしました。
この連載では、毎月のアクセスログを次の3つの視点で定点観測していきます。
- セキュリティ(脆弱性スキャンや、ボットのなりすまし)
- AEO・SEO(検索エンジンやAI検索の巡回)
- AI学習(モデル開発に向けたデータ収集)
第1回は、記録が始まった 2026年8月(日本時間)の実測データ です。 最初の1か月に見えたボットたちのリアルな動きを振り返ります。
8月のハイライト
- ボットの大半は、「脆弱性スキャン」である
- ボット名を偽装した「なりすましボット」もいる
はじめに:データの対象期間と「下処理」について
本題に入る前に、集計の前提となるデータ期間と、8月中に行った分類の調整(下処理)について整理しておきます。
対象期間
対象期間は、2026年8月4日〜31日の28日間(日本時間)です。
ツールの導入が8月3〜4日だったため、1〜3日のデータはありません。また、1件ごとの生ログ保存期間は90日間となっており、11月に照合した時点では、8月4〜15日は日別集計のみ、1件ごとの生ログが確認できたのは 8月16〜31日(16日間) でした。
この記事では、サイトへの通信1回を「1件」として数えます。同じページへの連続アクセスや、エラーとなった通信も月間件数に含まれます。
8月に行ったサイト・アクセス解析の改良
最初の月となった8月は、ログを観察しながら解析ツールやサイト自体を段階的に改良していった期間でもありました。
- 8月3〜4日:自作アクセス解析の稼働スタート
公開作品へのアクセスや、ボット・脆弱性スキャンを1画面で把握できるダッシュボードを導入。 - 8月9〜10日:サイト健康診断と
sitemap.xml自動生成の導入
リンク切れ等を自動検知する仕組みを作り、クローラーに公開ページを知らせるsitemap.xmlの自動生成を開始。 - 8月10日・24日:ボットの「接続元ネットワーク(ASN)照合」を追加
当初は自己申告のボット名(User-Agent)だけで分類していましたが、偽装されたアクセスに気づき、8月10日にAIクローラーの接続元ネットワーク照合を導入。8月24日にはGooglebot等の検索クローラーにも照合を拡大しました。
※公式公開IPアドレスとの厳密な照合機能は2026年11月に導入したため、8月分は「名乗っているボット名」と「当時の接続元情報」による分類です。通信を実際に誰が送ったのかまでは断定できません。
データの「下処理」について
正確な傾向を見るため、開発中のノイズや特殊な通信を以下のように仕分けました。
- 自身のテストアクセスの保留(167件):開発中にChatGPTにサイト確認を依頼した際、自身の動作確認と外部アクセスを区別できなかった分を保留としました。
- 広告クローラーの除外(202件):検索クローラーの集計から、広告配信用の巡回プログラム
Mediapartners-Googleを除外しました。Google AdSenseの広告クローラの説明
| 区分 | 当時の記録 | 下処理後(記事用) | 差分・主な仕分け内容 |
|---|---|---|---|
| 脆弱性スキャン | 6,324件 | 6,466件 | +142件(8/29の集中スキャン142件を各区分から合算) |
| データセンター経由・その他自動 | 6,534件 | 6,487件 | -47件(脆弱性スキャンへ68件振替、設定用のボット名21件を受入) |
| 検索クローラー | 940件 | 738件 | -202件(広告関連の Mediapartners-Google 202件を除外) |
| AIクローラー | 750件 | 537件 | -213件(脆弱性スキャン25件・設定名21件を振替、テスト判別不能の167件を保留) |
| SNSプレビュー | 224件 | 175件 | -49件(8/29の脆弱性スキャン49件を振替) |
| 保留・除外(動作確認・広告関連) | — | 369件 | +369件(保留167件、広告関連202件) |
| 合計 | 14,772件 | 14,772件 | ±0件(全体の総数は一致) |
以下では、この「下処理後」のデータをもとに分析していきます。
自動アクセスの全体像:AIはたったの3%!?
下処理を終えたデータから、8月に届いた自動アクセスの全体像を見てみます。
| 区分 | 件数 | 割合 | 1日あたり |
|---|---|---|---|
| 脆弱性スキャン | 6,466件 | 約43.8% | 約231件 |
| データセンター経由・その他自動 | 6,487件 | 約43.9% | 約232件 |
| 検索クローラー | 738件 | 約5.0% | 約26件 |
| AIクローラー | 537件 | 約3.6% | 約19件 |
| SNSプレビュー | 175件 | 約1.2% | 約6件 |
| 保留・除外(動作確認・広告関連) | 369件 | 約2.5% | — |
| 合計 | 14,772件 | 100.0% | 約528件 |
数字を見てまず驚いたのが、その極端な内訳です。
世間でこれだけ話題になっている「AIクローラー」は537件で、全体のわずか 約3.6%。「検索クローラー」の738件を合わせても全体の1割にも満たない数字でした。
通信の大半を占めていたのは、機械的に弱点を探す「脆弱性スキャン」(約43.8%)と、用途が特定できていない「データセンター経由・その他自動」(約43.9%)でした。
セキュリティ:脆弱性スキャンと「偽装ボット」の暗躍
8月の記録には、管理画面や設定ファイルなどを機械的に探す脆弱性スキャンが多数記録されていました。
脆弱性スキャンのペース感
観測した28日間で6,466件。期間平均で 1日あたり約231件、約6分に1回 のペースで何らかのスキャン通信が届いていた計算になります。
「Googleの新しいAIボットが来た!」と思ったら……
アクセスログには、通信相手が名乗る自己紹介文字列( User-Agent )が記録されます。
8月のログを眺めていると、Google-Extended というボット名が計23件(8/10に21件、8/29に2件)記録されていました。
「Googleが新しいAI学習用クローラーを巡回させているのかな?」と思い公式資料を調べてみると、意外な仕様が判明しました。
Googleの説明によると、
Google-Extendedはサイト運営者が「AIの学習にコンテンツを使ってよいか」をrobots.txtで指定するための**設定用の識別名(トークン)**であり、実際のページ取得クローラーの名前ではない。 (Google公式の説明からの要約)
とのことでした。
つまり、当サイトに届いていた23件のGoogle-Extendedは、Google公式の巡回ではなく、 Googleになりすました別のアクセスだったわけです。
(あるいは送信者が仕様を誤解して名乗ったアクセス)
通信側が名乗るボット名は、送信側でいくらでも偽造できます。
実際、8月27日には Googlebot と名乗る通信でも、接続元を検証すると「検索クローラー(本物)」に51件、「その他の自動アクセス(偽装の疑い)」に12件と分かれていました。
「名乗っている名前を鵜呑みにしてはいけない」という良い教訓です。
同じIPからClaude、Perplexity、SNSボットが142連打される
8月29日、アクセスログに異様な挙動が記録されました。
すでに脆弱性スキャンとして判定されていた接続元から、短時間に 142件 のアクセスが集中したのです。
いずれも存在しないURLへのアクセスで失敗していたため、記事用データでは「脆弱性スキャン」へ振り替えましたが、興味深かったのは 同じ接続元からAIやSNSのボット名が次々と切り替えられて送られていた点 です。
同じ接続元から記録された主なボット名
- Claude-User(16件)
- Perplexity-User(9件)
- Telegram(17件)
- WhatsApp(11件)
- Facebook(10件)
- Discord(5件)
- Slack(4件)
- X(Twitterbot)(2件)
など(AI関連25件、SNSプレビュー系49件、その他自動68件)
また、8月のレポートに登場した以下のボットも、脆弱性スキャンか集中アクセスと同じ接続元からのものでした。
Perplexity-User(記録された9件すべて)Meta(記録された6件すべて)Bytespider(記録された4件すべて)Claude-SearchBot(記録された1件すべて)
ただし、接続元が同じであっても、その背後で誰がどのような意図で送ったのかまでは分かりません。
「Pinterest」はなぜセーフ判定だったのか?
興味深い対比として、同じ8月29日に画像共有SNS Pinterest と名乗るアクセスも13件ありました。
この13件は脆弱性スキャンとは別の接続元から届き、すべて正常に公開ページを取得(HTTP 200)していました。
そのため、この記事の集計ではSNSプレビューとして残しています。
送信元が本当にPinterest自身であるかはログだけでは断定できませんが、接続元やアクセス先、時間帯の振る舞いを見ることで、同じ日の通信でも適切に扱いを分けられました。
AEO・SEO:検索クローラーとAI検索ボットの巡回傾向
続いて2つ目の視点、「AEO(AI検索最適化)・SEO(検索エンジン最適化)」です。検索やAI検索に使われるボットがどれくらい訪れていたかを見てみます。
検索クローラーの主力はやっぱり Googlebot と BingBot
広告関連の202件を除くと、「検索クローラー」に分類された通信は 738件(1日あたり約26件) でした。AIクローラー(537件)の約1.37倍です。
| 記録されたボット名 | 通信回数 | 記録のあった日数 | 取得に成功した公開ページの例 |
|---|---|---|---|
| Googlebot | 503件 | 27日 | トップページ(15回)、『まにあう?』作品紹介(8回)、ブログ一覧(6回)、健康診断記事(6回) |
| BingBot | 65件 | 22日 | トップページ、ブログ一覧など |
| Baiduspider | 47件 | 18日 | 『X Analyzer』作品紹介、ブログ記事など |
| Applebot | 42件 | 14日 | ブラウザ保存の解説、ブログ記事など |
| YandexBot | 39件 | 7日 | — |
| Hatena | 25件 | 8日 | 『scroll』などの作品紹介 |
| DuckDuckBot | 24件 | 5日 | — |
※件数と日数は8月4〜31日の集計。公開ページの例は個別生ログが残る8月16〜31日分です。
なんとChatGPT(OAI-SearchBot)がBingBotを抜いていた件
個人的に一番のサプライズだったのが、ChatGPTの検索用ボット OAI-SearchBot の勢いです。
101件 を記録し、伝統的な検索エンジンである BingBot(65件)をあっさりと上回っていました。記録があった日数も11日間に及びます。
また、Perplexityの検索用ボット PerplexityBot が48件、YouBot が31件記録され、作品紹介やブログ記事などを取得していきました。
個別生ログが確認できた 8月16日〜31日の16日間 で、「AIクローラー」が正常に取得した主な公開ページは以下のとおりです。
(※動作確認と区別できない ChatGPT-User・Claude-User は除外)
| 取得先ページ | 取得回数(16日間) |
|---|---|
| トップページ | 10回 |
| 『scroll』の作品紹介 | 5回 |
| 『X Analyzer』の作品紹介 | 5回 |
| 『X Analyzer』の制作記事 | 4回 |
| 『まにあう?』の作品紹介 | 4回 |
| 『ぽんっとマップ』の作品紹介 | 4回 |
※トップページは除外前が27回、除外後が10回でした。
ブログ記事だけでなく、公開作品の紹介ページもしっかり巡回されていました。サイトマップを整備したことが巡回に寄与した可能性が伺えます。
AI学習関連:主なボットと「ログの限界」
脆弱性スキャンなどを仕分けた後に残った、AI学習・データ収集に関連する主なボットです。
| 記録されたボット名 | 関連するサービスや公開用途 | 通信回数 | 記録があった日数 |
|---|---|---|---|
| Amazonbot | Amazonのサービス改善(AIモデル学習に用いられる場合あり) | 153件 | 22日 |
| ClaudeBot | Anthropicのモデル開発に向けたデータ収集 | 106件 | 17日 |
| OAI-SearchBot | OpenAIのChatGPT検索 | 101件 | 11日 |
| GPTBot | OpenAIのAIモデル学習向けデータ収集 | 96件 | 11日 |
| CCBot | Common Crawl(公開Webデータ収集アーカイブ) | 74件 | 8日 |
| PerplexityBot | Perplexityの検索 | 48件 | 9日 |
| YouBot | You.com の検索 | 31件 | 12日 |
※表の7つのボットは「AIクローラー」区分以外に分類された通信も含むため、合計(609件)と区分件数(537件)に差があります。
※ ChatGPT-User と名乗る通信は当時193件ありましたが、165件は自身の動作確認と区別がつかなかったため保留としています。
「公開した翌日にはAIに学習される」は本当か?ログが語る意外な事実
SNSなどでよく見かける「公開した翌日にはもうAIに学習されている」という噂。
個人サイトの実態はどうなのか気になるところですが、ログを調べてみると、Amazonbot と名乗る通信は月間153件で1日平均約5.5件、ClaudeBot は1日約3.8件、GPTBot は約3.4件でした。 来訪日数も月間11〜22日ほどで、毎日すべてのページを一斉に吸い上げているわけではありません。
少なくとも当サイトの8月の観測データからは、「公開した瞬間にAIボットが飛んできて、翌日には学習される」というような慌ただしい動きは見られませんでした。
「HTTP 200=AIに学習された」と早合点してはいけない理由
AI学習クローラーが自分のサイトに来たからといって、学習されているわけではありません。
ログに残る「HTTP 200」が証明しているのは、「そのボット名でリクエストがあり、正常にページを返した」という事実だけです。
取得されたHTMLが
- モデルの事前学習に使われたのか
- 検索インデックスの生成に使われたのか
- それとも途中で破棄されたのか
そういったことはサーバー側のログからは絶対にわからないのです。
そのため、過度に恐れたり煽ったりせず、事実を客観的に捉えることが大切だと感じます。
## まとめ 色々と書いてきましたが、この記事をまとめると以下の2点にがもっとも重要な事実であるかと思います。
- ボットの大半は、「脆弱性スキャン」である
- ボット名を偽装した「なりすましボット」もいる
もともとAIクローラーの動きに興味を抱いて始めたアクセス解析でしたが、まさか‥こんなにも沢山の悪いロボットがいるとは心底驚いた1か月目となりました。
関連記事
- AIクローラー観察記 #2(2026年9月編) 今回の記事の続きであり、2026年9月のアクセスログを振り返ったものです。
- 個人サイトのアクセス解析を自作してみた 今回のアクセスログをとっているツールの仕組みについて書いてます。