O plug-in bot-detect identifica e bloqueia web crawlers que tentam acessar seus sites.
Tipo de plug-in
Proteção de segurança.
Campos
|
Campo |
Tipo de dados |
Obrigatório |
Valor padrão |
Descrição |
|
allow |
array of string |
Não |
- |
Expressões regulares para corresponder ao cabeçalho User-Agent. Requisições correspondentes são permitidas. |
|
deny |
array of string |
Não |
- |
Expressões regulares para corresponder ao cabeçalho User-Agent. Requisições correspondentes são bloqueadas. |
|
blocked_code |
number |
Não |
403 |
Código de status HTTP retornado quando uma requisição é bloqueada. |
|
blocked_message |
string |
Não |
- |
Corpo da resposta HTTP retornado quando uma requisição é bloqueada. |
Se nem o campo allow nem o campo deny estiver configurado, o sistema usa a lógica padrão de identificação de crawlers. Use allow para isentar requisições que correspondam às regras padrão de crawlers e deny para adicionar regras personalizadas de identificação de crawlers.
Exemplos
Permitir requisições que correspondam à lógica padrão de identificação de crawlers
allow:
- ".*Go-http-client.*"Sem essa configuração, o sistema identifica requisições originadas da biblioteca HTTP do Golang como crawlers e as bloqueia.
Adicionar lógica de identificação de crawlers
deny:
- "spd-tools.*"Essa regra bloqueia as seguintes requisições:
curl http://example.com -H 'User-Agent: spd-tools/1.1'
curl http://exmaple.com -H 'User-Agent: spd-tools'Ative regras de proteção de segurança para rotas ou nomes de domínio específicos
Salve as rotas route-a e route-b com dados de configuração vazios.
Aplique a seguinte configuração de plug-in aos nomes de domínio *.example.com e test.com:
allow:
- ".*Go-http-client.*"route-aeroute-bsão rotas especificadas ao crie rotas de gateway. Se uma requisição do cliente corresponder a uma dessas rotas, o sistema usa as regras padrão integradas para identificar web crawlers.*.example.cometest.comcorrespondem a nomes de domínio nas requisições. Se uma requisição do cliente corresponder a um desses nomes de domínio, as regras correspondentes entram em vigor.As regras entram em vigor em sequência. Quando uma regra é correspondida, as regras subsequentes são ignoradas.