Identifique e controle o acesso dos principais crawlers de IA ao seu site configurando políticas de bloqueio ou monitoramento para proteger seu conteúdo.
Pré-requisitos
Adicione um nome de domínio ao ESA. Para mais informações, consulte Adicionar um nome de domínio ao ESA.
O site deve ter uma assinatura paga (Pro, Premium ou Enterprise).
Etapa 1: Ativar o gerenciamento de crawlers de IA
No console do ESA, selecione Websites e, na coluna Websites, clique em o site desejado.
-
Ative a chave Status do crawler desejado. Após a confirmação, o ESA cria automaticamente uma regra de proteção dedicada e aplica a Action especificada.
NotaAo ativar esse recurso, o sistema identifica e registra automaticamente os dados de acesso dos crawlers de IA sem afetar o tráfego do serviço.
Etapa 2: Visualizar a visão geral de acesso dos crawlers
Após ativar o gerenciamento de crawlers, visualize os dados e as tendências de acesso dos crawlers de IA na aba Data Analytics.
Na página AI Crawler Control, selecione a aba Data Analytics.
-
Configure o AI Crawler Control conforme as necessidades do negócio e selecione um intervalo de tempo adequado para análise.
NotaA coleta de dados pode sofrer um atraso de 5 a 10 minutos. Se você acabou de ativar o recurso, aguarde o preenchimento dos dados antes de visualizar as análises.
Etapa 3: Configurar regras de controle de acesso
Na página Data Analytics, selecione a aba Crawler Client.
-
Na coluna AI Crawler Control, clique em o ícone
, selecione uma ação e clique em Crawler Client:Action: Bloqueia todas as solicitações do crawler e retorna o código e o conteúdo de resposta configurados.
OK: Registra os dados de acesso sem bloquear as solicitações.
NotaEste método permite controlar rapidamente um único crawler. Também é possível selecionar vários crawlers e usar a opção Block.
-
Acesse a aba Monitor e clique em Batch Edit Action na seção Settings para personalizar a resposta para crawlers bloqueados:
Blocking Response: Selecione a página de bloqueio exibida aos crawlers bloqueados. Personalize a página seguindo as instruções em Configurar uma página personalizada.
Configure: Insira o código de resposta retornado aos crawlers bloqueados. O valor padrão é 403. Os códigos de resposta 408, 444 e 499 não são suportados.
