Web Application Firewall (WAF) のボット管理モジュールは、シナリオ固有の設定機能を提供します。この機能により、ドメインを標的とするクローラーの監視、既知の悪意のある IP アドレスからのリクエストのブロック、カスタムのクローラー対策ルールの設定が、社内のセキュリティ専門知識を必要とせずに行えます。
仕組み
WAF は、Alibaba Cloud のパブリッククラウドおよびデータセンター全体にわたるネットワーク規模の脅威インテリジェンスを使用して、リアルタイムで更新される悪意のあるクローラーの IP アドレスライブラリを維持しています。リクエストが到着すると、WAF はソース IP をこれらのライブラリと照合し、シナリオ固有の設定ルールで定義されたアクションを適用します。これにより、正常なクローラーを許可したり、悪意のあるクローラーをブロックしたりします。
正常なクローラーの識別
正規のクローラーは、xxspider キーワードを User-Agent ヘッダーに含み、低いリクエストレート、分散した URL、広範な時間範囲といった一貫した動作パターンを示します。クローラーリクエストの送信元 IP を見つけるには、リクエストに対して逆引き nslookup または tracert コマンドを実行します。たとえば、Baidu クローラーの IP アドレスで逆引き nslookup コマンドを実行すると、クローラーの送信元 IP アドレスを取得できます。
悪意のあるクローラーの識別
悪意のあるクローラーは、特定の期間内に特定の URL またはポートに大量のリクエストを送信します。HTTP フラッド攻撃は、機密データをスクレイピングするために、クローラートラフィックまたはサードパーティからのリクエストに偽装されることがよくあります。これらの攻撃がブロックされない場合、CPU 使用率の増加、Web サイトアクセスの失敗、サービス中断が発生します。
前提条件
開始する前に、以下を確認してください。
Pro Edition、Business Edition、または Enterprise Edition の WAF インスタンスがあること
お使いのインスタンスでボット管理モジュールが有効になっていること
[ボット管理] の付加価値サービスは、Pro、Business、または Enterprise エディションで有効化されています。
制限事項
各ドメイン名では、最大 50 個のシナリオ固有の設定ルールを設定できます。