Web Application Firewall (WAF) のボット管理モジュールが提供するシナリオ固有の設定機能を利用することで、専門的なセキュリティ知識がなくても、お客様のドメインを標的とするクローラーの監視、既知の悪意のある IP アドレスからのリクエストのブロック、カスタムのクローラー対策ルールの設定が可能になります。
仕組み
リクエストを受信すると、WAF はソース IP をこれらのライブラリと照合し、シナリオ固有の設定ルールで定義されたアクションを適用して、通常のクローラーを許可したり、悪意のあるクローラーをブロックしたりします。
正規のクローラーの特定
正規のクローラーは、xxspider というキーワードを User-Agent ヘッダーに含み、リクエストレートが低く、アクセスする URL が分散しており、広範囲の時間帯でアクセスするなど、一貫した動作パターンを示します。クローラーリクエストのソース IP を見つけるには、リクエストに対して逆引き nslookup または tracert コマンドを実行します。たとえば、Baidu クローラーの IP アドレスで逆引き nslookup コマンドを実行すると、クローラーのソース IP アドレスを取得できます。
悪意のあるクローラーの特定
悪意のあるクローラーは、特定の期間内に特定の URL またはポートに大量のリクエストを送信します。HTTP フラッド攻撃は、クローラートラフィックや、機密データをスクレイピングするためのサードパーティリクエストに偽装されることがよくあります。ブロックしないまま放置すると、これらの攻撃は CPU 使用率の増加、Web サイトへのアクセス障害、およびサービスの中断を引き起こします。
前提条件
開始する前に、以下の要件を満たしていることを確認してください：
プロ版、ビジネス版、またはエンタープライズ版で実行されている WAF インスタンス
ご利用のインスタンスでボット管理モジュールが有効化されていること
[ボット管理] の付加価値サービスは、プロ版、ビジネス版、またはエンタープライズ版で有効化されています。
制限事項
各ドメイン名は、最大 50 個のシナリオ固有の設定ルールをサポートします。