AIクローラー観察記 #2:2026年9月に来ていたボットたち

こんにちは。麗です。当サイト(urara.dev)の自作アクセス解析をもとにボットの動きを振り返る連載の第2回です。
この連載では、毎月のアクセスログを次の3つの視点で定点観測しています。
- セキュリティ(脆弱性スキャンや、ボットのなりすまし)
- AEO・SEO(検索エンジンやAI検索の巡回)
- AI学習(モデル開発に向けたデータ収集)
今回は、サイトの英語対応などを進めた 2026年9月(日本時間・30日間) の記録をまとめました。
2026年9月の観測ハイライト
- ボット通信が急増、6割以上が「脆弱性スキャン」:月間2.4万件のうち約64.1%が脆弱性スキャンでした。
- AIボットを名乗る通信の約半分が「ニセモノ」:主要なAIボット名を名乗る通信のうち、約46.4%(594件)が脆弱性スキャンでした。
- 英語ページ公開でボットの動きが一変:AIボットによるページ取得のうち、トップページを除くと過半数(約51.8%)が英語ページへのアクセスでした。
第1回(2026年8月編)はこちらから
はじめに:データの対象期間と「下処理」について
本題に入る前に、集計期間と9月中に行ったデータ仕分け(下処理)の前提を整理しておきます。
対象期間
対象は 2026年9月1日〜30日の30日間(日本時間)です。11月14日に照合した時点では、30日分の個別通信ログ(生ログ)を確認できました。
サイトへの通信1回を「1件」として数えています。同じページへの連続アクセスや、エラーとなった通信も全体の件数に含まれます。
※公式公開IPアドレスとの厳密な照合機能は11月に導入したため、9月分は「名乗っているボット名」と「9月時点の接続元情報」による分類です。通信を実際に誰が送ったかまでは特定できません。
9月に行ったサイト・アクセス解析の改良
9月はサイトの多言語化やコンテンツ拡充を進めたため、ボットの動きにも大きな変化が現れました。
- 9月1日:英語ページ(16ページ)の公開
トップページ、運営者紹介、各作品紹介ページの英語版を公開しました。 - 9月8〜19日:新作『RENSA』の公開とサイト再編
日英の全作品一覧ページを新設し、トップページやブログ一覧も刷新。ゲームやツールの実行画面には検索エンジンにインデックスさせない設定(noindex)を入れました。 - 9月10〜11日:脆弱性スキャン対策と分類の見直し
サイトの入口で怪しい通信へのブロック対策を行い、自作アクセス解析の判定基準も見直しました。
データの「下処理」について
正確な実態を把握するため、個別のアクセス記録を精査し、ノイズとなる通信を以下のように仕分けました。
同じ接続元から短時間に集中していたり、複数のボット名を使い分けたり、存在しないURLへのアクセスエラーが多発していた通信など、合計 7,324件 を「脆弱性スキャン」に振り替えました。
また、広告配信用の巡回プログラム Mediapartners-Google の278件は、検索クローラーの集計から除外しています。Google AdSenseの広告クローラの説明
| 区分 | 9月時点の記録 | 下処理後(記事用) | 主な変更内容 |
|---|---|---|---|
| 脆弱性スキャン | 8,627件 | 15,951件 | 他区分から怪しい通信7,324件を振り替え |
| データセンター経由・その他自動 | 14,334件 | 7,211件 | データセンター経由2,336件、その他4,787件をスキャンへ振替 |
| 検索クローラー | 1,049件 | 771件 | 広告関連の278件を除外 |
| AIクローラー | 764件 | 563件 | スキャンと判定した201件を振り替え |
| SNSプレビュー | 110件 | 110件 | 変動なし |
| 除外(広告関連) | — | 278件 | 検索クローラーから振り替え |
| 合計 | 24,884件 | 24,884件 | 総数は一致 |
以下では、この下処理を終えた確定データをもとに分析していきます。
全体の6割超が攻撃の的!?8月から倍増した脆弱性スキャン
下処理を終えたデータから、8月(28日間)と9月(30日間)の自動アクセスを比較してみます。日数の差をならすため、1日あたりの平均件数 も並べました。
| 区分 | 8月(28日間) | 9月(30日間) | 1日あたり(8月 → 9月) |
|---|---|---|---|
| 脆弱性スキャン | 6,466件(約43.8%) | 15,951件(約64.1%) | 約231件 → 約532件 |
| データセンター経由・その他自動 | 6,487件(約43.9%) | 7,211件(約29.0%) | 約232件 → 約240件 |
| 検索クローラー | 738件(約5.0%) | 771件(約3.1%) | 約26件 → 約26件 |
| AIクローラー | 537件(約3.6%) | 563件(約2.3%) | 約19件 → 約19件 |
| SNSプレビュー | 175件(約1.2%) | 110件(約0.4%) | 約6件 → 約3.7件 |
| 保留・除外(動作確認・広告関連) | 369件(約2.5%) | 278件(約1.1%) | — |
| 合計 | 14,772件(100.0%) | 24,884件(100.0%) | 約528件 → 約829件 |
8月の自動アクセスは月間14,772件でしたが、9月は24,884件と約1.7倍(1日あたり約1.6倍)に跳ね上がりました。
ここで注目したいのは、「検索クローラー(1日約26件)」と「AIクローラー(1日約19件)」の巡回ペースは8月とまったく変わっていない という点です。
増えたアクセスの正体は、そのほぼすべてが「脆弱性スキャン」(1日約231件 → 約532件)でした。
セキュリティ:約2.7分に1回のスキャンと「偽装ボット」の急増
9月の脆弱性スキャンは 15,951件(全体の約64.1%) にのぼりました。
8月(6,466件)から約2.5倍に増え、期間平均で 1日あたり約532件、約2.7分に1回(8月は約6分に1回)というハイペースで届いていた計算になります。
対策を入れたのに、なぜ2.5倍に増えたのか?
実は9月10〜11日に、サイトの入口でのブロック対策や判定基準の見直しを行っていました。「対策を入れたのに、なぜ倍以上に増えたのか?」と疑問に思うところですが、これには2つの背景があります。
-
これまで「その他自動アクセス」に紛れて見落とされていた通信を、判定の見直しによって正確にスキャンとして拾えるようになったこと。
-
当サイトに届く通信の中でも、有名なボットの名前を装ってすり抜けようとするスキャンが目立つようになったこと。
次のセクションで見るように、AIボット名を名乗る通信の半分近くが実際にはスキャンでした。
対策によって怪しい通信をブロックしつつも、インターネット側から押し寄せるスキャンの波自体が激しさを増していた実態がうかがえます。
主要AIボットを名乗る通信の46%が脆弱性スキャン
有名なAIボットの名前を名乗る通信は、9月全体で 1,280件 ありました。
しかし中身を詳しく調査したところ、なんと 594件(約46.4%)が脆弱性スキャンとみられる偽装通信 でした。
| 記録されたボット名 | 総通信数 | うち脆弱性スキャン(偽装) | 正規のAIクローラー(下処理後) |
|---|---|---|---|
| ClaudeBot | 164件 | 111件(約68%) | 46件 |
| Amazonbot | 181件 | 51件(約28%) | 120件 |
| YouBot | 45件 | 35件(約78%) | 10件 |
| Cohere | 35件 | 35件(100%) | 0件 |
| Google-Extended | 35件 | 35件(100%) | 0件 |
| Bytespider | 28件 | 28件(100%) | 0件 |
※総通信数から上記2つを引いた残りは、「データセンター経由・その他自動」などの別分類に含まれています。
特に顕著だったのが ClaudeBot です。ClaudeBot と名乗る通信は164件届いていましたが、そのうち 約68%(111件)が脆弱性スキャンによる偽装通信 で、正規とみられる通信は46件にすぎませんでした。また、Cohere や Bytespider を名乗る通信にいたっては、記録された全件が脆弱性スキャン でした。
検索ボットでも同様で、Googlebot と名乗る558件のうち37件がスキャン通信でした。「有名なボット名を名乗っていれば怪しまれないだろう」という攻撃側の意図が透けて見えます。
4日間で1,167件!謎のデータセンターから来た大量アクセス
9月のログでは、特定のデータセンターからわずか4日間に 1,167件 ものアクセスが集中する現象も確認されました。
同じ接続元から脆弱性スキャンも届いていましたが、この1,167件を詳しく調べると、約95.2%(1,111件)は正常に公開ページを取得(HTTP 200)していました。
エラーを誘発するようなスキャンとは異なり、実際に公開ページを丁寧に巡回していたため、この通信はスキャンではなく「データセンター経由」の区分に残しています。誰がどのような目的で行ったスクレイピングなのかまでは特定できませんが、個人サイトでもこうした特定発信元からの集中アクセスが突然発生することがわかります。
AEO・SEO:英語ページを公開したら、ボットの行き先が激変した
続いて、AEO(AI検索への最適化)とSEO(検索エンジンへの最適化)の視点です。
urara.devでは、9月1日に「英語ページ」公開しました。英語ページが出来たことで、各社の検索クローラーはどのような反応があったのかを見ていきます。
検索ボットの来訪と、英語ページを集中取得した PetalBot
広告関連を除いた検索クローラーの通信は 771件(8月は738件)でした。
全体の件数は横ばいですが、やって来るボットの顔ぶれには変化がありました。
| 記録されたボット名 | 9月の件数(8月との比較) | 記録日数 | 主な巡回先・傾向 |
|---|---|---|---|
| Googlebot | 457件(8月: 503件 / 偽装含む全体558件) | 30日 | トップページ、ブログ一覧、作品紹介など幅広く巡回 |
| YandexBot | 100件(8月: 39件 / 約2.5倍) | 8日 | 日本語版・英語版の全作品一覧、作品紹介など |
| BingBot | 92件(8月: 65件 / 増加) | 25日 | トップページ、制作記事、英語版トップページなど |
| PetalBot | 79件(8月: 0件 / 初登場) | 14日 | 英語版トップページや英語版の全作品一覧など |
| Hatena | 10件(8月: 25件) | 7日 | 『Markdownメモ』や『Plus2』の作品紹介など |
8月に続いて Googlebot が最多ですが、YandexBot(39件→100件)や BingBot(65件→92件)が大きく数字を伸ばしました。
中でも注目したいのが、ファーウェイ系の検索クローラーである PetalBot の動きです。
8月は記録がゼロでしたが、9月15日に当サイトのログへ初めて現れました。 記録された79件はすべて正常にページ取得を成功させており、そのうち 約45.6%(36件)が英語ページへのアクセス でした。 公開したばかりの英語ページをすばやく察知して重点的に取得していった様子がうかがえます。
AI検索の巡回:ChatGPTの検索ボットは「ほぼ毎日」巡回へ
OpenAIの公式資料によると、各ボットには明確な役割分担があります。OpenAIのクローラーの説明
GPTBot:AIモデルの学習データ収集OAI-SearchBot:ChatGPTの検索機能のための巡回ChatGPT-User:ユーザーがChatGPT上で操作した際のリクエストに応じた取得
9月のログでは、GPTBot が42件(8月: 96件)だったのに対し、OAI-SearchBot は87件(8月: 101件)、ChatGPT-User は118件 記録されました。
特に検索用の OAI-SearchBot に注目すると、件数自体は8月の101件から87件へ微減したものの、記録日数は8月の11日から9月は21日へとほぼ倍増 しています。
「たまにまとめて取得する」動きから、「ほぼ毎日コツコツと最新の状態を確認しに来る」動きへと変化したことが読み取れます。なお、取得に成功した87件のうち23件は英語ページでした。
また、ChatGPT-User の118件は28日間にわたってほぼ毎日記録され、全件が取得成功でした。そのうち約82.2%(97件)はトップページへのアクセスでした。
開発者自身の動作確認も含まれている可能性がありますが、AI検索や対話型AIからの参照は確実に日常化しています。
その他のAI検索ボットたち
その他のAI検索関連では、YouBot が10件(8月: 31件)、PerplexityBot が6件(8月: 48件)、Claude-SearchBot が2件(8月: 正規0件)記録されました。PerplexityBot や YouBot は8月よりも正規の巡回件数が減っています。
Perplexityの公式資料によると、PerplexityBot は検索結果のインデックス用、Perplexity-User はユーザーの質問に応じたリアルタイム取得用とされています。Perplexityのクローラーの説明
英語ページの割合:トップページを除くと過半数が英語!
AIクローラーが公開ページを正常に取得できた通信(計429件・51ページ)を集計したところ、驚きの結果が出ました。
| 取得先ページ | 取得回数(30日間) | 言語 |
|---|---|---|
トップページ(うち97件は ChatGPT-User) |
124回 | 日本語 |
| 『Markdown → HTML』英語版作品紹介 | 18回 | 英語 |
| 『ASTRA』制作記事 | 14回 | 日本語 |
| 『Markdownメモ』英語版作品紹介 | 13回 | 英語 |
| 英語版トップページ | 12回 | 英語 |
| 『ぽんっとマップ』英語版作品紹介 | 11回 | 英語 |
429件のうち、英語ページへのアクセスは 158件(約36.8%) でした。
さらに、アクセスの集中した日本語トップページ(124件)を除いて見ると、残る305件のうち約51.8%が英語ページ でした。
英語ページを公開した途端、海外発のAIクローラーたちがコンテンツの半分以上の割合で英語を取りに来ていたことになります。多言語対応がクローラーの巡回に与える影響の大きさが如実に表れた結果です。
AI学習:AmazonとMetaは「英語ページ」がお好き?
9月に巡回していた10種類のAIボット(8月との比較)
怪しい通信を除いた正規のAIクローラーは 合計563件(1日平均約19件)、10種類のボットでした。8月(537件・1日平均約19件)と総数はほぼ同じですが、ボットごとの増減を見ると顔ぶれに変化がありました。
| 記録されたボット名 | 9月の件数 | 8月の件数 | 9月の記録日数 |
|---|---|---|---|
| Amazonbot | 120件 | 153件 | 29日 |
| ChatGPT-User | 118件 | —(※) | 30日 |
| OAI-SearchBot | 87件 | 101件 | 21日 |
| Meta | 72件 | 0件(全6件スキャン) | 13日 |
| CCBot | 60件 | 74件 | 10日 |
| ClaudeBot | 46件 | 106件 | 14日 |
| GPTBot | 42件 | 96件 | 12日 |
| YouBot | 10件 | 31件 | 6日 |
| PerplexityBot | 6件 | 48件 | 11日 |
| Claude-SearchBot | 2件 | 0件(全1件スキャン) | 1日 |
※ChatGPT-User は8月時点では自身の動作確認と区別できず大半(165件)を保留としていたため、単純比較から除いています。
8月からの変化として目立つのは、Meta の本格登場 と ClaudeBot・GPTBot の減少 です。
Meta は8月には偽装とみられる6件しか記録されていませんでしたが、9月は正規とみられる通信が72件(13日間)現れました。一方、8月に100件前後あった ClaudeBot(106件→46件)や GPTBot(96件→42件)は、9月は正規件数が半分以下に落ちています。
なお、大規模なWebデータ収集を行う非営利団体Common Crawlの CCBot は、8月(74件)に続いて9月も60件と安定したペースで巡回していました。Common Crawlの説明・Metaの説明
Amazonbot と ChatGPT-User の決定的な違い
件数がほぼ同等だった ChatGPT-User(118件)と Amazonbot(120件)ですが、巡回の性質はまったく対照的でした。
ChatGPT-User は97件がトップページに集中していたのに対し、Amazonbot はトップページだけでなく、ブログ記事や様々な作品紹介ページまでサイト全体をまんべんなく取得していました。
Amazonの資料によると、Amazonbot はサービスの改善やAlexa等のAIモデル学習に利用されます。サイト全体を網羅的に読み込む「学習用クローラー」らしい巡回パターンが見て取れます。Amazonのクローラーの説明
AmazonとMetaは、取得成功の半数以上が英語ページ!
各ボットが正常に取得したページを言語別に分析したところ、興味深い傾向が分かりました。
- Amazonbot:取得成功119件中、67件(約56.3%)が英語ページ
- Meta:取得成功52件中、27件(約51.9%)が英語ページ
どちらのボットも、取得したコンテンツの半分以上が英語ページ でした。グローバルに展開するビッグテックのAIクローラーにとって、英語コンテンツがいかに優先度の高い収集対象であるかが数字からも読み取れます。
Grokにサイト点検を頼んでみたらまさかの事実が判明!
9月のある日、私がGrokにサイトの点検を依頼したところ、驚くことがわかりました。
実は、Grokに検索を依頼してもGrok-Userのようなボットが回ってくるわけではなく、ChromeやSafariなどのブラウザから人間を装ってやってくるのです。さらに驚くのが国やアクセス元もバラバラであること。
つまり、アクセス履歴だけを見ると「同じ時間にたくさんの人が来た」ような状態なんですね。
詳しくはこちらの記事から
AIクローラーの欄に名前がないからと言って、AIクローラーが来ていないわけではなく、人間のふりをしている場合もあることが分かりました。
詳しくは記事中に書いてありますので、ぜひ読んでみてください。