As linhas de mecanismo de busca direcionam solicitações de DNS de crawlers para um endereço de servidor dedicado. Esse recurso permite gerencie o tráfego de crawlers separadamente do tráfego de usuários comuns.
Visão geral
Crawlers de mecanismos de busca, também conhecidos como spiders ou robôs da web, são programas ou scripts que rastreiam e indexam automaticamente o conteúdo da web com base em regras predefinidas.
Cenários
Crawlers consomem tráfego e largura de banda do servidor. Configure linhas de mecanismo de busca para apontar para um endereço de servidor dedicado, direcione todas as solicitações de DNS dos crawlers para esse endereço e controle o caminho de rastreamento.
Em caso de interrupção temporária do site, utilize linhas de mecanismo de busca para estabelecer uma linha dedicada aos mecanismos de busca. Assim, os crawlers continuam a indexar o conteúdo do site, o que reduz o impacto na classificação de SEO.
Enumeração das linhas de mecanismo de busca
|
Linha primária (CODE da linha) |
Linha secundária (CODE da linha) |
Linha terciária (CODE da linha) |
|
Mecanismo de busca (search) |
Google (google) |
Google_Mainland China (cn_search_google) |
|
Google_Overseas (os_search_google) |
||
|
Baidu (baidu) |
Baidu_Mainland China (cn_search_baidu) |
|
|
Baidu_Overseas (os_search_baidu) |
||
|
Bing (biying) |
Bing_Mainland China (cn_search_biying) |
|
|
Bing_Overseas (os_search_biying) |
||
|
Sogou (sougou) |
Sogou_Mainland China (cn_search_sougou) |
|
|
Sogou_Overseas (os_search_sougou) |
||
|
Qihu (qihu) |
Qihu_Mainland China (cn_search_qihu) |
|
|
Qihu_Overseas (os_search_qihu) |
||
|
Youdao (youdao) |
Youdao_Mainland China (cn_search_youdao) |
|
|
Youdao_Overseas (os_search_youdao) |
||
|
Yahoo (yahoo) |
Yahoo_Mainland China (cn_search_yahoo) |
|
|
Yahoo_Overseas (os_search_yahoo) |
Perguntas frequentes
-
Por que o navegador Google Chrome não aciona a linha de mecanismo de busca?
Resposta: As linhas de mecanismo de busca correspondem ao IP de saída do LocalDNS dos crawlers. Esse IP difere do IP de saída do LocalDNS usado pelos navegadores.
-
Por que os crawlers podem falhar ao identificar a linha de mecanismo de busca configurada?
Resposta: Se o DNS local do servidor do crawler não usar o LocalDNS próprio do mecanismo de busca, o crawler não conseguirá corresponder à linha defina durante a resolução de DNS. Por exemplo, se o servidor do crawler do Baidu não usar o LocalDNS do Baidu, a linha de mecanismo de busca do Baidu não entrará em vigor.