AI クローラー管理機能を使用すると、主要な AI クローラーからのサイトへのアクセスを識別し、制御できます。ブロックまたはモニターポリシーを設定して、サイトコンテンツを保護できます。
前提条件
ESA にドメイン名を追加済みであること。詳細については、「ESA へのドメイン名の追加」をご参照ください。
ご利用のサイトが有料サブスクリプション (Pro、Premium、または Enterprise) であること。
ステップ 1： AI クローラー管理の有効化
ESA コンソールで サイト管理 を選択し、サイト 列で対象のサイトをクリックします。
目的のクローラーの ステータス スイッチをオンにします。操作を確認すると、ESA は自動的に専用の保護ルールを作成し、指定された アクション を適用します。
説明この機能を有効にすると、システムはサービストラフィックに影響を与えることなく、AI クローラーのアクセスデータを自動的に識別して記録します。
ステップ 2： クローラーのアクセス概要の表示
クローラー管理を有効にすると、データ分析 タブで AI クローラーのアクセスデータと傾向を表示できます。
AI クローラコントロール ページで、データ分析 タブを選択します。
ビジネスニーズに基づいて フィルター を設定し、分析に適した期間を選択します。
説明データ収集には 5～10 分程度の遅延が発生する場合があります。この機能を有効にした直後は、データが入力されるまで待ってから分析を表示してください。
ステップ 3： アクセス制御ルールの設定
AI クローラコントロール ページで、クローラクライアント タブを選択します。
アクション 列で
アイコンをクリックし、操作を選択してから OK をクリックします：ブロック： クローラーからのすべてのリクエストをブロックし、設定されたレスポンスコードとコンテンツを返します。
監視： リクエストをブロックせずにアクセスデータを記録します。
説明この方法は、単一のクローラーを迅速に制御するためのものです。複数のクローラーを選択し、アクションの一括編集 を使用することもできます。
設定 タブに移動し、設定 セクションの ブロックレスポンス をクリックして、ブロックされたクローラーに対する応答をカスタマイズします：
ブロックレスポンスページ： ブロックされたクローラーに表示するブロックページを選択します。「カスタムページの設定」の手順に従ってページをカスタマイズできます。
レスポンスコード： ブロックされたクローラーに返されるレスポンスコードを入力します。デフォルト値は 403 です。レスポンスコード 408、444、499 はサポートされていません。
