生成AIによるクロールを拒否する

設定ページの「基本設定」内にて「生成AIによるクロールを拒否」をONに設定すると、ブログやサイトのrobots.txtファイルに、生成AIクローラーによるアクセスを拒否するルールが自動的に追記されます。

拒否の対象となるユーザーエージェント

この設定をONにすると、robots.txtに以下のユーザーエージェントを拒否するルールが記述されます。この一覧は、今後の状況に応じて更新される場合があります。

  • GPTBot (OpenAI)
  • Google-Extended (Google)
  • Applebot-Extended (Apple)
  • anthropic-ai (Anthropic)
  • ClaudeBot (Anthropic)
  • cohere-ai (Cohere)
  • PerplexityBot (Perplexity AI)
  • Perplexity-ai (Perplexity AI)
  • ChatGPT-User (OpenAI)
  • OAI-SearchBot (OpenAI)
  • CCBot (Common Crawl)
  • meta-externalagent (Meta)

※この設定は、Google検索などの通常の検索エンジン用クローラーには影響しません。

よくある質問

  • 「生成AIによるクロール」とは何ですか？
    • 主に、文章や画像を生成するAI（生成AI）が、モデルの学習や回答生成のためにインターネット上のWebサイトを巡回して情報を収集（クロール）することです。本設定は、ご自身のブログにおけるその情報収集を拒否するためのものです。
  • robots.txtとは何ですか？
    • robots.txtとは、サイト運営者がクローラー（Webサイトの情報を収集するプログラム）に対してどのページにアクセスして良いか、またはしないでほしいかを伝えるためのファイルです。この設定をONにすると、生成AIサービスに対してあなたのブログコンテンツを利用しないよう意思表示をすることになります。
  • 設定をONにすれば、AIは絶対にアクセスできなくなりますか？
    • いいえ、そうとは限りません。robots.txtの指示に従うかどうかは、最終的に各AIサービス側の判断に委ねられています。
    • 多くの主要なAIサービスはrobots.txtの指示に従うと表明していますが、すべてのクローラーが指示を守る保証はありません。この設定はあくまでアクセスしないよう「お願い」するものであり、アクセスを強制的に遮断するものではないことをご了承ください。
  • 拒否したいAIクローラーを個別に選択できますか？
    • いいえ、できません。本設定は対象となるすべてのAIクローラーに対して一括で拒否をする仕様です。
  • この設定による影響について、はてなブログは責任を負いますか？
    • robots.txtの指示がAIクローラーによって遵守されるかどうかの保証はいたしかねます。クローラーの動作については各AIサービスのポリシーに準拠するため、本設定を行ったことによるいかなる結果についても弊社では責任を負いかねます。あらかじめご了承ください。

関連記事