Google、Bing、Baidu、Sogou、Yandex などの許可された検索エンジンからのクローラーによるドメインへのアクセスを許可します。
前提条件
-
WAF インスタンスが有効化されると、Bot Management モジュールは有効になっています。
WebサイトがWAFに追加されます。 詳細については、「チュートリアル」をご参照ください。
仕組み
許可されたクローラーのルールは、Alibaba Cloud のクローラーライブラリを使用して、正規のクローラーリクエストを自動的に許可します。このライブラリは、Alibaba Cloud のネットワークトラフィックを分析することで継続的に更新され、Google、Baidu、Sogou、Bing、Yandex などの主要な検索エンジンの IP アドレスを動的に更新します。
許可されたクローラーのルールを有効にすると、許可された検索エンジンの IP アドレスからのリクエストは、ボット管理の検出を自動的にバイパスします。
また、アクセス制御/スロットリング ルールを使用して、許可されたクローラーの IP アドレスからのリクエストをフィルタリングすることもできます。カスタム保護ポリシーを設定する。
操作手順
にログインします。WAFコンソール.
上部のナビゲーションバーで、リソースグループとWAFインスタンスが属するリージョンを選択します。 リージョンは、中国本土または中国本土以外です。
左側のナビゲーションウィンドウで、 を選択します。
[Webサイトの保護] ページの上部で、保護ルールを設定するドメイン名を選択します。
-
Bot Managementタブをクリックします。許可されたクローラーセクションで、ステータススイッチをオンにし、設定をクリックします。
-
許可されたクローラー ルールリストで、[インテリジェンス名] で対象のクローラーを検索し、その 状態 スイッチをオンにします。
デフォルトでは、特定の検索エンジン（Google、Bing、Baidu、Sogou、Yandex）に対して個別のルールを設定するか、[許可された検索エンジンホワイトリスト] ルールを有効にして、サポートされているすべてのクローラーを許可できます。