Permita que crawlers de mecanismos de busca autorizados, como Google, Bing, Baidu, Sogou e Yandex, acessem seu domínio.
Pré-requisitos
Você deve ter uma instância do WAF ativada com o módulo Bot Management habilitado.
Seu site já foi adicionado ao WAF. Para mais informações, consulte Tutoriais.
Como funciona
As regras de Crawlers Permitidos usam a biblioteca de crawlers da Alibaba Cloud para autorizar automaticamente solicitações legítimas. A análise contínua do tráfego de rede da Alibaba Cloud atualiza essa biblioteca e renova dinamicamente os endereços IP dos principais mecanismos de busca, incluindo Google, Baidu, Sogou, Bing e Yandex.
Ao ativar as regras de Crawlers Permitidos, as solicitações originadas de endereços IP de mecanismos de busca autorizados ignoram automaticamente a detecção do Bot Management.
Você também pode usar regras de Access Control/Throttling para filtrar solicitações provenientes de endereços IP de crawlers permitidos. Configurar uma política de proteção personalizada.
Procedimento
Faça login no console do Web Application Firewall.
Na barra de menus superior, selecione o grupo de recursos e a região da sua instância do Web Application Firewall (Chinese Mainland ou Outside Chinese Mainland).
No painel de navegação à esquerda, escolha .
Na página Website Protection, selecione o nome de domínio a ser configurado.
Clique em na aba Bot Management. Na seção Authorized Crawler, ative a chave Status e clique em Configure Now.
-
Na lista de regras de Authorized Crawler, localize o crawler desejado por Intelligence Name e ative sua chave Status.
Por padrão, configure regras individuais para mecanismos de busca específicos (Google, Bing, Baidu, Sogou e Yandex) ou ative a regra Authorized Search Engine Whitelist para permitir todos os crawlers compatíveis.