AIクローラー一覧｜GPTBot・ClaudeBotの見分け方と対処法

自社サイトのアクセスログを見ていて、見慣れない「GPTBot」や「ClaudeBot」といったユーザーエージェントに気づいたことはないでしょうか。これらはAI企業が運営する「AIクローラー」で、生成AIの学習データ収集や、ChatGPT・Perplexityなどの検索・回答機能のためにWebサイトを巡回しています。

本記事では、主要なAIクローラーを運営企業・用途別に整理し、robots.txtでの制御方法と、安易な一律ブロックが招くリスクを解説します。自社サイトのアクセス方針を決める判断材料としてお使いください。

AIクローラーとは？検索エンジンBotとの違い

AIクローラーとは、生成AI企業がWeb上のコンテンツを収集するために運営するプログラムの総称です。従来のGooglebotなどの検索エンジンクローラーが「検索結果に表示するためのページ索引作り」を目的とするのに対し、AIクローラーの目的はもう少し細かく分かれています。大きく分けると次の3種類です。

• 学習用：AIモデルの学習データとしてコンテンツを収集するタイプ
• AI検索用：ChatGPTやPerplexityなどの検索・回答機能のために、最新情報を索引するタイプ
• ユーザー代行型：ユーザーがAIに質問した際、その場でページを取得して回答に反映するタイプ

同じ企業でもこの3種類を別々のユーザーエージェント名で運営しているため、「AIクローラーをまとめてブロックする」という発想では意図しない副作用が生じやすくなります。

主要AIクローラー一覧（企業別・用途別）

OpenAI

• GPTBot：モデルの学習データ収集用
• OAI-SearchBot：ChatGPT検索機能のための索引収集用。学習には使われない
• ChatGPT-User：ユーザーの質問に応じてその場でページを取得する代行型

Anthropic

• ClaudeBot：モデルの学習データ収集用
• Claude-SearchBot：Claudeの検索結果の質向上のための索引収集用
• Claude-User：ユーザーの質問に応じたページ取得を行う代行型

Google

Googleの場合、AI学習用の専用クローラーは存在せず、通常のGooglebotが取得済みのデータを学習に使うかどうかを「Google-Extended」というrobots.txt上の制御トークンで切り替える仕組みになっています。Google-Extendedを拒否しても、通常のGoogle検索の順位表示には影響しません。

その他の主なクローラー

• PerplexityBot／Perplexity-User：Perplexityの索引収集用とユーザー代行型
• Applebot-Extended：Appleの学習データ利用に対する制御トークン
• CCBot：非営利団体Common Crawlの収集データで、複数のAI企業の学習データセットの元になっている
• Bytespider：TikTokを運営するByteDanceの収集用クローラー

一律ブロックのリスク｜AI引用の機会を失わないために

「AIに勝手に使われたくない」という理由で、すべてのAIクローラーを一律拒否する対応を選ぶ企業も見られます。しかし、この判断には注意が必要です。

例えばGPTBotを拒否しても、OAI-SearchBotやChatGPT-Userまで自動的に拒否されるわけではありません。反対に、GPTBotを拒否したつもりが実はOAI-SearchBotまで一緒にブロックしてしまい、ChatGPTの回答内で自社サイトが紹介される機会そのものを失ってしまうケースもあります。学習データとして使われることへの抵抗感と、AI経由の新しい流入チャネルとしての可能性は、切り分けて検討する価値があります。

方針を決める際の考え方としては、次の2パターンが基本になります。

• 学習用（GPTBot・ClaudeBot・Google-Extended・Applebot-Extended・CCBot・Bytespiderなど）は拒否し、検索・引用用（OAI-SearchBot・Claude-SearchBot・PerplexityBot）とユーザー代行型（ChatGPT-User・Claude-User）は許可する
• コンテンツ保護を最優先し、すべて拒否する

どちらが正解ということはなく、自社のコンテンツ戦略や競合との関係性に応じて選ぶべき判断です。ただし、少なくとも「用途ごとに違うクローラーが存在する」ことを知らないまま一律設定するのは避けたいところです。

robots.txtでの制御方法

制御はrobots.txtにユーザーエージェントごとのルールを追記するだけで行えます。学習用のみを拒否し、検索・引用用は許可する設定例は次の通りです。

• User-agent: GPTBot
• Disallow: /
• User-agent: ClaudeBot
• Disallow: /
• User-agent: Google-Extended
• Disallow: /
• User-agent: OAI-SearchBot
• Allow: /
• User-agent: PerplexityBot
• Allow: /

設定後は、サーバーのアクセスログでユーザーエージェント文字列を確認し、意図通りにアクセスが減っているかをチェックしましょう。

ここで注意したいのは、robots.txtはあくまでクローラー側の自主的な遵守に頼る「お願い」であり、強制力を持たない点です。Cloudflareは2025年8月に公表した調査で、Perplexityが一部サイトからブロックされると、宣言していない別のユーザーエージェントに切り替えてrobots.txtの制限を回避していたと報告しています。Search Engine Journalによると、この調査結果を受けてCloudflareはPerplexityを検証済みボットのリストから外す対応を取りました。また、Bytespiderについてもrobots.txtを確実に遵守しないケースが指摘されています。こうした遵守しないクローラーへの対処には、robots.txtだけでなくWAFやCDN側でのアクセス制限を組み合わせる必要があります。

まとめ

AIクローラーは一括りにできるものではなく、企業ごとに「学習用」「AI検索用」「ユーザー代行型」という異なる目的のクローラーを運営しています。GPTBotやClaudeBotなど学習用のクローラーを拒否しつつ、OAI-SearchBotやPerplexityBotのような検索・引用用のクローラーは許可するといった使い分けが、コンテンツ保護とAI経由の露出機会の両立につながります。まずは自社サイトのアクセスログを確認し、どのクローラーが訪れているかを把握するところから始めてみてください。

株式会社オモイカネでは、robots.txtの設計を含むAI導入支援・マーケティング支援を行っています。自社にとって最適な設定が分からない場合は、お気軽にご相談ください。