GPTBot拒否すべきか？ブロックのメリット・デメリットと注意点

自社サイトのアクセスログを確認していて「GPTBot」というユーザーエージェントを見つけ、robots.txtで拒否すべきかどうか迷っている担当者の方も多いのではないでしょうか。GPTBotを拒否する大手サイトが増えているという情報を目にする一方で、拒否によって具体的に何を得て何を失うのかは、意外とわかりにくいものです。

そもそもGPTBotは、GoogleのGooglebotのような検索順位のためのクローラーとは目的が異なり、拒否したからといって自社サイトが「検索されなくなる」わけではありません。それでも判断に迷うのは、AI検索が急速に普及する中で、拒否することで将来の露出機会を失うのではないかという不安があるためでしょう。

本記事では、GPTBotを拒否する場合のメリット・デメリットを整理し、業種やコンテンツ戦略に応じた判断のポイントと、robots.txtでの設定方法を解説します。

GPTBotとは？拒否の判断がわかりにくい理由

GPTBotは、OpenAIが2023年8月に公開した、AIモデルの学習データを収集するためのクローラーです。robots.txtに拒否設定を記述すれば、GPTBotはそのサイトへのアクセスを取りやめます。

判断を難しくしているのは、OpenAIが用途ごとに複数の異なるクローラーを運営している点です。GPTBotが担うのはあくまでモデルの学習データ収集であり、ChatGPTの検索機能で使われる索引収集は「OAI-SearchBot」、ユーザーの質問に応じてその場でページを取得する代行アクセスは「ChatGPT-User」と、それぞれ別のユーザーエージェントで動いています。GPTBotだけを拒否しても、OAI-SearchBotを許可していれば、ChatGPT検索で自社サイトが引用される機会はそのまま残ります。つまり「GPTBotを拒否する」という判断は、AI経由の露出全体を止めることではなく、あくまで学習データへの提供を止めるかどうかという、限定された選択だと理解しておくことが出発点になります。

GPTBotを拒否するメリット

GPTBotを拒否する主なメリットは、次の3点に整理できます。

• 独自コンテンツが本人の同意なくAIモデルの学習に使われることを防げる。専門性の高い一次情報や独自調査データを強みにしている企業ほど、この点を重視する傾向がある
• クローラーによるアクセスが減ることで、サーバーへの負荷を抑えられる。特にアクセス数の少ない中小企業サイトでは、想定外のクロール集中が負荷要因になることがある
• 「公開している情報をどう扱ってほしいか」という自社の方針を、対外的に明確な形で示せる

特に、社内で時間をかけて作成した独自調査データやノウハウ記事など、そのまま競合に模倣されると事業上の不利益につながるようなコンテンツを抱えている企業ほど、拒否のメリットは大きくなります。逆に、一般的な解説記事が中心のサイトであれば、拒否によって守れるものは限定的だと考えられます。

GPTBotを拒否するデメリット

一方で、拒否には見落とされがちなデメリットもあります。

• ChatGPTがユーザーの質問に対して、検索を伴わず学習済みの知識だけをもとに回答する場面では、自社や自社サービスの情報が反映されにくくなる
• 今後モデルが更新されるたびに、自社の最新情報が学習データに含まれない状態が続く。一度拒否を解除しても、過去に遡って学習させることはできない
• 競合他社がGPTBotを許可している場合、AIの一般的な回答の中で言及される機会という点で、相対的に不利になる可能性がある

OpenAIによるGPTBot公開の直後には、ニューヨーク・タイムズやアマゾン、ロイター、CNNといった大手メディア・企業が早い段階で拒否を選択したと報じられています。Originality.AIの調査によると、公開直後の2023年8月時点で上位100サイトの14.9%がGPTBotを拒否しており、この割合は2024年8月には上位1000サイトの35.7%まで増加しました。ただし、これらは著作権や情報管理への懸念が特に強い大手メディア・出版社が中心の数字であり、中小企業のコンテンツ戦略にそのまま当てはまるとは限らない点には注意が必要です。

判断のポイント：自社のコンテンツ戦略から考える

大手メディアの動向をそのまま真似るのではなく、自社にとってのコンテンツの位置づけを起点に考えることが重要です。特に、これから新規顧客と接点を持ちたい段階の中小企業にとっては、AIの回答内で名前が挙がること自体が広告に近い価値を持つ場合もあります。

GPTBotを拒否すべきかどうかは、業種や規模で一律に決まるものではなく、自社コンテンツの位置づけによって変わります。判断の目安は次の通りです。

• 独自の一次情報（独自調査データ・取材記事・専門ノウハウ）が主力コンテンツで、それ自体が営業資産になっている → 拒否を優先的に検討する
• 認知拡大や指名検索の獲得を優先しており、AIに広く言及されること自体がメリットになる → 許可を優先的に検討する
• 学習用のGPTBotは拒否しつつ、検索・引用用のOAI-SearchBotや代行アクセス用のChatGPT-Userは許可するという折衷案も選択肢になる
• 一度決めた方針も固定せず、認知拡大を優先する時期か、コンテンツ資産を防衛する時期かという事業フェーズに応じて見直す

robots.txtでの設定方法

GPTBotを拒否する場合の設定はシンプルです。サイトのルートディレクトリにあるrobots.txtに以下を追記します。

• User-agent: GPTBot
• Disallow: /

反対にGPTBotを許可する場合は、そもそも記述を追加しなければ、既定のクロールが行われます。設定後は、サーバーのアクセスログでGPTBotのユーザーエージェント文字列を確認し、意図通りにアクセス状況が変化しているかを確認してください。WordPressの場合は、多くのSEOプラグインの管理画面からrobots.txtの内容を直接編集できます。

なお、robots.txtによる拒否はクローラー側の自主的な遵守を前提とした設定であり、法的な強制力を持つものではありません。それでも、自社の方針を明文化しておくこと自体には意味があり、まずはこの設定から着手するのが現実的です。

まとめ

GPTBotを拒否するかどうかは、AI経由の露出全体を左右する話ではなく、モデルの学習データへの提供を止めるかどうかという限定的な判断です。検索・引用用のOAI-SearchBotを別途許可しておけば、ChatGPT検索での紹介機会は維持できます。自社のコンテンツが競争優位の資産なのか、広く知られることを優先すべきものなのかを整理した上で、方針を決めることが大切です。

株式会社オモイカネでは、robots.txtの設計を含むAI導入支援・マーケティング支援を行っています。自社に合った判断が難しい場合は、お気軽にご相談ください。