O módulo de gerenciamento de bots do Web Application Firewall (WAF) oferece o recurso de configuração específica de cenário para monitorar crawlers que acessam seu domínio, bloquear requisições de endereços IP maliciosos conhecidos e definir regras personalizadas contra crawlers — sem exigir expertise interna em segurança.
Como funciona
O WAF mantém bibliotecas de endereços IP de crawlers maliciosos, atualizadas em tempo real com base na inteligência de ameaças da Alibaba Cloud em clouds públicas e data centers. Ao receber uma requisição, o WAF verifica o IP de origem nessas bibliotecas e aplica a ação definida na regra de configuração específica de cenário, permitindo crawlers legítimos ou bloqueando os maliciosos.
Identificação de crawlers legítimos
Crawlers legítimos incluem a palavra-chave xxspider no cabeçalho User-Agent e apresentam padrões comportamentais consistentes: baixa taxa de requisições, URLs dispersas e ampla variação temporal. Para identificar o IP de origem de uma requisição de crawler, execute um comando reverso de nslookup ou tracert na requisição. Por exemplo, ao executar o comando nslookup reverso com o endereço IP do crawler do Baidu, você obtém o endereço IP de origem desse crawler.
Identificação de crawlers maliciosos
Crawlers maliciosos enviam grandes volumes de requisições para uma URL ou porta específica em curto período. Ataques de flood HTTP frequentemente se disfarçam como tráfego de crawler ou requisições de terceiros para extrair dados sensíveis. Sem bloqueio, esses ataques aumentam o uso de CPU, causam falhas de acesso ao site e interrompem services.
Pré-requisitos
Antes de começar, verifique se você possui:
Uma instância do WAF nas edições Pro, Business ou Enterprise
O módulo de gerenciamento de bots ativado na sua instância
O service complementar de bot management está ativado para as edições Pro, Business ou Enterprise.
Limitações
Cada nome de domínio suporta até 50 regras de configuração específica de cenário.