AIクローラー観察記 #3:2026年10月に来ていたボットたち

こんにちは。麗です。当サイト(urara.dev)の自作アクセス解析をもとにボットの動きを振り返る連載の第3回です。
この連載では、毎月のアクセスログを次の3つの視点で定点観測しています。
- セキュリティ(脆弱性スキャンや、ボットのなりすまし)
- AEO・SEO(検索エンジンやAI検索の巡回)
- AI学習(モデル開発に向けたデータ収集)
今回は、公開記事や作品の断捨離を行った 2026年10月(日本時間・31日間) の記録をまとめました。
2026年10月の観測ハイライト
- 入口ブロックで総数は減少、それでも過半数が「脆弱性スキャン」
- 「404エラーが多い=攻撃」と決めつけない線引き
- 英語ページが定番コースに定着
はじめに:データの対象期間と「下処理」について
本題に入る前に、集計期間と10月に行ったサイトの大きな整理、そしてデータ仕分け(下処理)の前提を整理しておきます。
対象期間
対象は 2026年10月1日〜31日の31日間(日本時間)です。11月15日に照合した時点で、31日間すべての個別通信ログ(生ログ)が欠けずに残っていた最初の月となりました。
サイトへの通信1回を「1件」として数えています。同じページへの連続アクセスや、エラーとなった通信も全体の件数に含まれます。
※公式公開IPアドレスとの厳密な照合機能は11月12日に導入したため、10月分は「名乗っているボット名」と「10月時点の接続元情報」による分類です。通信を実際に誰が送ったかまでは特定できません。
10月に行ったサイト・アクセス解析の改良
10月は公開コンテンツを思い切って整理したため、ボットの反応(特にエラーの増減)にもその影響が表れました。
- 10月3〜4日:記事と作品の「断捨離」と大型改修『解剖学整体院』を大幅に改修したほか、45本あったブログ記事を約半分の23本へ厳選(旧記事22本を非公開化)し、公開作品も整理しました。
- 10月17〜19日:新作『経済ひとめくり』公開とトップページの「活動ノート」化新作Webアプリを公開し、トップページを日々の制作やブログが見やすい「活動ノート」へとリニューアルしました。
- 入口ブロックの継続稼働 9月10日に導入したCloudflareの入口でのブロック設定が、10月は丸1か月間フル稼働しました。
データの「下処理」について
正確な実態を把握するため、個別のアクセス記録を1件ずつ確認し、次の仕分けを行いました。
確認済みのスキャンと同じ接続元から短時間に連続し、ボット名を使い分けたり複数の存在しないURL(404)を集中して叩いたりしていた 3,831件(すべて404エラー) を「脆弱性スキャン」に振り替えています。
また、8月・9月と同じく、広告配信用の巡回プログラム Mediapartners-Google の286件は、検索クローラーの集計から除外しています。Google AdSenseの広告クローラの説明
| 区分 | 10月時点の記録 | 下処理後(記事用) | 主な変更内容 |
|---|---|---|---|
| 脆弱性スキャン | 5,351件 | 9,182件 | 他区分から怪しい404通信3,831件を振り替え |
| データセンター経由・その他自動 | 8,694件 | 4,895件 | データセンター経由1,974件、その他1,825件をスキャンへ振替 |
| 検索クローラー | 1,368件 | 1,082件 | 広告関連の286件を除外 |
| AIクローラー | 780件 | 748件 | スキャンと判定した32件を振り替え |
| SNSプレビュー | 25件 | 25件 | 変動なし(X 14件、Facebook 11件) |
| 除外(広告関連) | — | 286件 | 検索クローラーから振り替え |
| 合計 | 16,218件 | 16,218件 | 総数は一致 |
以下では、この下処理を終えた確定データをもとに分析していきます。
全体像:入口防御で総数は減少、それでも…
下処理を終えたデータで、8月・9月・10月の3か月間の自動アクセスを比較してみます。月によって日数が異なるため、1日あたりの平均件数 も並べました。
| 区分 | 8月(28日) | 9月(30日) | 10月(31日) | 1日あたり(9月 → 10月) |
|---|---|---|---|---|
| 脆弱性スキャン | 6,466件 | 15,951件 | 9,182件(約56.6%) | 約532件 → 約296件 |
| データセンター経由・その他自動 | 6,487件 | 7,211件 | 4,895件(約30.2%) | 約240件 → 約158件 |
| 検索クローラー | 738件 | 771件 | 1,082件(約6.7%) | 約26件 → 約35件 |
| AIクローラー | 537件 | 563件 | 748件(約4.6%) | 約19件 → 約24件 |
| SNSプレビュー | 175件 | 110件 | 25件(約0.2%) | 約3.7件 → 約0.8件 |
| 保留・除外(動作確認・広告関連) | 369件 | 278件 | 286件(約1.8%) | — |
| 合計 | 14,772件 | 24,884件 | 16,218件(100.0%) | 約829件 → 約523件 |
9月10日に導入した入口のブロック設定が丸1か月効いたことで、自動アクセス総数は9月(24,884件)から 16,218件(1日約523件=約2.8分に1回) へと大きく落ち着きました。
表面の数字だけを見ると「データセンター経由など(8,694件)が主役の月」に見えますが、中身を精査するとその4割以上が404エラーを繰り返すスキャンでした。
結果として、10月も 全体の約56.6%(9,182件=約4.9分に1回)が脆弱性スキャン であり、検索やAIなどのボット合計(6,750件・約41.6%)を上回っています。
一方で、検索クローラー(1日約26件 → 約35件) と AIクローラー(1日約19件 → 約24件) はどちらも着実に増えており、2つ合わせて全体の約11.3%(1,830件)になりました。
セキュリティ:偽装AIボットと「404が多い=攻撃」と決めつけない境界線
10月の脆弱性スキャンは 9,182件 で、期間平均で 1日あたり約296件(約4.9分に1回) に落ち着きました。8月・9月に続いて、10月も「有名なボット名を装うスキャン」と「どこまでをスキャンとみなすか」の線引きが大きなテーマになりました。
実は来訪ゼロ件?! AIボットの名前を借りた潜入スキャン
9月は主要なAIボット名を名乗る通信の約46%がスキャンでしたが、入口防御が効いた10月は、AI関連12種のボット名を名乗る総通信数 889件 のうち、スキャンと判定したのは 110件(約12.4%) と割合が大きく下がりました。
それでも 10月23日 には、1つの接続元が複数のAIボット名を次々と切り替えながら、短時間に存在しないURL(404)を叩いて回る集中スキャンが発生していました。
| 記録されたボット名 | 総通信数 | うち脆弱性スキャン(偽装) | 正規のAIクローラー(下処理後) |
|---|---|---|---|
| ClaudeBot | 63件 | 21件(AI区分から17件+別区分4件) | 37件 |
| Bytespider | 14件 | 9件(約64%) | 5件 |
| Perplexity-User | 6件 | 5件(別区分) | 0件 |
| Cohere | 3件 | 3件(100%) | 0件 |
| YouBot | 3件 | 3件(100%) | 0件 |
※総通信数から上記2つを引いた残りは、「データセンター経由・その他自動」などの別分類に含まれています。
表面の集計表だけを見ていると「10月も Cohere や YouBot が3件ずつ見に来てくれた」と錯覚してしまいますが、ログを開くと 10月23日の同一犯による偽装スキャンであり、本物の来訪は0件 でした。
同様に、検索の王道である Googlebot を名乗る714件の中にも、別区分と判定された38件が含まれており、そのうち16件は脆弱性スキャンでした。
「404が多い=攻撃」とは限らない? ログから見えた4つの境界線
10月のログを精査するうえで特に意識したのが、「404(ページが見つからないエラー)が多いからといって、機械的にすべてを攻撃スキャン扱いしない」 という点です。
なぜなら、10月4日に私自身が ブログ記事22本と作品2件を非公開にする「断捨離」 を行っていたからです。以前あったページが消えれば、真面目に再訪してきた正規のボットでも当然404エラーになります。
そのため今回は「確認済みのスキャンと同じ接続元で、短時間に複数の失敗が集中し、ボット名の使い分けや失敗偏重が見られた通信」だけをスキャンへ移し、次の4つのケースはあえてスキャン扱いせず元の区分に残しました。
- **
Meta(185件中404が89件)とAmazonbot(173件中404が29件)**AI区分のエラー127件のうち9割以上をこの2社が占めていましたが、スキャンと接続元が一致しなかったため、1件も除外せずAI区分に残しています。 - **
Feo Prest(データセンター経由:3日間で723件)**同じ接続元にスキャンも含まれていましたが、一連の通信の 約94.6%(684件)が正常なページ取得(HTTP 200) でボット名の使い分けもなかったため、723件すべてを元の区分に残しました。 TECHOFF(データセンター経由:10日間で640件) 404エラーが477件と多かったものの、スキャンと同じ接続元で短時間に失敗が集中した 423件だけ をスキャンへ移し、条件に当てはまらない残り 217件(正常取得163件・404が54件) は元の区分に残しています。
「怪しい通信があったネットワークは丸ごと除外」と一刀両断にせず、根拠を確認して線を引くことで、ボットたちの本当の姿が見えてきます。
AEO・SEO:検索ボットの急増と、英語ページ巡回の定着
続いて、AEO(AI検索への最適化)とSEO(検索エンジンへの最適化)の視点です。10月は検索クローラー全体が大きく伸び、9月に公開した英語ページの定着ぶりもはっきり数字に表れました。
あの BingBot がついに皆勤賞! 検索クローラーが1,000件を突破
広告関連(Mediapartners-Google 286件)を除いた検索クローラーの通信は 1,082件(1日あたり約35件) となり、8月(738件)→ 9月(771件)から初めて月1,000件を突破しました。AIクローラー(748件)と比べても 約1.45倍 の規模があります。
| 記録されたボット名 | 10月の件数(9月との比較) | 記録日数 | 主な巡回先・10月の特徴 |
|---|---|---|---|
| Googlebot | 676件(9月: 457件 / 全体714件) | 31日 | トップ、ブログ一覧、Grok記事、『RENSA』紹介など毎日広く巡回 |
| PetalBot | 143件(9月: 79件 / 約1.8倍) | 27日 | 成功131件。よく見た上位5ページがすべて英語ページ |
| BingBot | 133件(9月: 92件 / 増加) | 31日 | 8月22日→9月25日と増え、ついに31日間毎日来訪 |
| Baiduspider | 75件(9月から継続) | 29日 | ほぼ毎日来訪し、Grok記事や日英の作品紹介を巡回 |
| Applebot | 42件(9月: 継続) | 19日 | Claude Codeの解説記事や制作記事を中心に巡回 |
| YandexBot | 23件(9月: 100件) | 8日 | トップページやAI関連記事を確認 |
| DuckDuckBot | 15件(9月: 継続) | 12日 | トップページ(14回)と英語版ブラウザ保存解説(1回) |
※Googlebot と PetalBot は検索区分の件数、その他は集計表に記録されたボット名ごとの件数です。
10月で特に目立ったのが、ほぼ毎日訪れる「レギュラー陣」の層が厚くなったこと です。
これまで1日2〜3件ほど控えめに回っていた BingBot が、10月は31日間1日も欠かさず来訪する皆勤賞となり、ブラウザ保存の解説ページ(19回)などの実用記事をじっくり読み込んでいました。
また、9月15日に初登場したばかりのファーウェイ系検索ボット PetalBot は、10月に入ると27日間で143件(成功131件)と一気に検索2番手に定着。しかも、よく見ていた上位5ページ(英語版全作品一覧、英語版トップ、英語版About、英語版お問い合わせ、英語版『Tetris』作品紹介)が すべて英語ページ という徹底ぶりでした。
AI検索:中までじっくり読むSearchBot、玄関先で帰るChatGPT
OpenAI系の検索・参照ボットの動きを見ると、9月からさらに役割の違いがくっきりしています。
OAI-SearchBot(ChatGPTの検索インデックス用):98件・27日間来訪日数が8月(11日)→ 9月(21日)→ 10月(27日) と増え、ほぼ毎日巡回するリズムが定着しました。公開ページを取得した89件のうち 約59.6%(53件)が英語ページ で、日本語の『ASTRA』記事(23回)と並んで、英語版のWebツール紹介ページを集中的にインデックスしていました。ChatGPT-User(ユーザーの操作に応じたリアルタイム取得用):203件・31日間31日間すべての日に1日1〜15件ずつ記録され、件数としてはAIボット全体の1位でした(※運営者自身の確認が含まれる可能性があります)。ただし、取得に成功した201件のうち 約80.6%(162件)はトップページへのアクセス であり、9月(約82%)と同じく「まずはサイトの玄関先を見に来る動き」が中心でした。PerplexityBot(Perplexityの検索用):4件・7日間(全体17件のうち別区分10件がスキャン、別区分成功3件と合わせて月7件) 9月に続いて、必要なときだけピンポイントで訪れる少数精鋭の動きでした。
日本語サイトなのに「英語ページ」が定番コースに定着!
10月にAIクローラーが正常に取得できた公開ページ(サイトマップ掲載65ページ中 56ページ=約86.2%を網羅、計521件)をランキングにすると、9月に公開した英語ページが一過性のブームではなく、完全に定番コースとして定着したことが分かります。
| 順位 | 取得先ページ | 取得回数(31日間) | 言語 |
|---|---|---|---|
| 1位 | トップページ(うち162件は ChatGPT-User) |
175回 | 日本語 |
| 2位 | 『ASTRA』の記事(GPT-6 Astra vs GPT-5.6 Sol) | 34回 | 日本語 |
| 3位 | 『X投稿タイムヒートマップ』英語版作品紹介 | 25回 | 英語 |
| 4位 | 『Markdown → HTML』英語版作品紹介 | 24回 | 英語 |
| 5位 | 『Markdownメモ』英語版作品紹介 | 18回 | 英語 |
| 6位タイ | 英語版トップページ / 『X投稿タイムヒートマップ』日本語版 | 各10回 | 英語/日本語 |
公開ページ取得全体(521件)のうち英語ページは 143件(約27.4%) ですが、アクセスの集中した日本語トップページ(175件)を除いた346件で見ると、約41.3%が英語ページ でした。
特に3位〜5位を「英語で書かれた実用ツールの作品紹介ページ」が独占しており、AI検索や海外クローラーにとって英語の紹介ページがいかに見つけられやすいかがよく分かります。
AI学習:上位4強が約88%を占有! Amazonbot と Meta の真逆の個性
最後に、AI学習向けのデータ収集を含むAIクローラー全体の勢力図と、ボットごとの読み方のクセを見ていきます。
スキャンを除いた10月のAIクローラーは合計 748件(1日平均約24件、約1時間に1回) でした。
| 順位 | 記録されたボット名 | 10月の件数 | 9月の件数 | 10月の記録日数 |
|---|---|---|---|---|
| 1位 | ChatGPT-User | 203件 | 118件 | 31日 |
| 2位 | Meta | 185件 | 72件 | 10日 |
| 3位 | Amazonbot | 173件 | 120件 | 29日 |
| 4位 | OAI-SearchBot | 98件 | 87件 | 27日 |
| 5位 | ClaudeBot | 37件 | 46件 | 10日 |
| 6位 | GPTBot | 28件 | 42件 | 7日 |
| 7位 | CCBot | 15件 | 60件 | 4日 |
| 8位 | Bytespider | 5件 | 0件 | 2日 |
| 9位 | PerplexityBot | 4件 | 6件 | 7日 |
※Perplexity-User・Cohere・YouBot は正規のAIクローラーとしては0件でした。
上位4強が約88%! 定番の学習ボットたちはさらに静かに
表を見てすぐ気づくのは、上位4種類(ChatGPT-User・Meta・Amazonbot・OAI-SearchBot)だけで659件と、AI全体の約88.1%を占めている ことです。
その一方で、AI学習クローラーの代表格としてよく名前が挙がる ClaudeBot(37件)、GPTBot(28件)、CCBot(15件) の3つは、9月と比べてもさらに件数が減り、数日〜1週間に1回ふらっと来て数ページだけ確認する非常に穏やかなペースでした。
同じ海外ボットなのに真逆? Amazonbot と Meta の違い
10月のデータで一番面白かったのが、件数で2位・3位に並んだ Meta(185件) と Amazonbot(173件) の対比です。
全体のアクセス回数だけを見ると、どちらも「月180回前後来た海外の大手AIボット」に見えますが、中身を比べると性格がまるっきり逆でした。
| 比較項目 | Amazonbot(Amazon) | Meta(Meta / Llama等) |
|---|---|---|
| 10月の総リクエスト数 | 173件(うち404が29件) | 185件(うち404が89件) |
| 来訪日数(巡回リズム) | 29日間(ほぼ毎日コツコツ型) | 10日間(3日に1回のまとめ読み型) |
| 公開ページの取得成功数 | 119件 | 44件 |
| よく読んだ言語の割合 | 英語が過半数(65件・約54.6%) | 日本語が8割超(37件・約84.1%) |
Amazonbot は31日間のうち29日間も欠かさず訪れ、公開ページ取得119件のうち 過半数(約54.6%)が英語ページ でした。OAI-SearchBot(53件)と合わせた2つだけで、AI全体が読んだ英語ページ(143件)の8割以上を占めています。
一方、9月(72件)から2.5倍以上に急増して2位に躍り出た Meta は、月のうち10日間だけやってきてまとめてアクセスを送るスタイルでした。しかも185件のうち約半数(89件)が404だったため、公開ページの取得成功は44件にとどまり、その中身も 約84.1%(37件)が日本語の制作記事や解説ページ だったのです。
「AIクローラー」とひとくくりにせず1つずつ観察してみると、巡回のリズムから好んで読む言語まで、ここまでハッキリした個性の違いが見えてきます(※なお、これらはページが正常に取得された記録であり、実際に学習データとして使われたかどうかは外部からは分かりません)。
補足:デジタル図書館「Internet Archive」が初来訪!
10月18日と19日の2日間、検索・アーカイブ系の枠に Internet Archive(21件) が記録上初めて現れました。
Internet Archive は、世界中のWebページの歴史を保存して過去の様子を振り返れるようにしている非営利のデジタル図書館(Wayback Machine)です。
ログを確認すると、21件すべて(100%)がエラーなしの取得成功 という行儀の良さで、取得した公開ページ20件のうち 70%(14件)が英語ページ(英語版About、英語版トップ、英語版お問い合わせなど)でした。
AIや検索エンジンだけでなく、Webの歴史を残すアーカイブボットにも9月に作った英語ページが見つけられていたのは嬉しい出来事でした。
まとめ:2026年10月のボット観察で分かったこと
- セキュリティ:入口防御で総数は減少したものの、半数以上が脆弱性スキャン。ただし404エラーだけで攻撃と決めつけない線引きを行いました。
- AEO・SEO:検索クローラーが1,000件を突破し、
BingBotも毎日来訪へ。英語ページの巡回が完全に定着しました。 - AI学習:上位4社が約88%を占有。英語中心の
Amazonbotと日本語中心のMetaで真逆の個性が見えました。