Permita que los crawlers de motores de búsqueda autorizados, como Google, Bing, Baidu, Sogou y Yandex, accedan a su dominio.
Requisitos previos
Debe tener una instancia de WAF activada con el módulo Bot Management habilitado.
Su sitio web debe estar agregado a WAF. Para obtener más información, consulte Tutorials.
Funcionamiento
Las reglas de Allowed Crawlers usan la biblioteca de crawlers de Alibaba Cloud para permitir automáticamente las solicitudes legítimas. Esta biblioteca se actualiza de forma continua mediante el análisis del tráfico de red de Alibaba Cloud y ajusta dinámicamente las direcciones IP de los principales motores de búsqueda, incluidos Google, Baidu, Sogou, Bing y Yandex.
Al habilitar las reglas de Allowed Crawlers, las solicitudes provenientes de direcciones IP de motores de búsqueda autorizados omiten automáticamente la detección de Bot Management.
También puede usar reglas de Access Control/Throttling para filtrar solicitudes desde direcciones IP de crawlers permitidos. Configure a custom protection policy.
Procedimiento
Inicie sesión en la consola de Web Application Firewall.
En la barra de menú superior, seleccione el resource group y la región correspondientes a su instancia de Web Application Firewall (Chinese Mainland o Outside Chinese Mainland).
En el panel de navegación izquierdo, vaya a .
En la página Website Protection, cambie al nombre de dominio que desea configurar.
Haga clic en la pestaña Bot Management. En la sección Authorized Crawler, active el interruptor de Status y haga clic en Configure Now.
-
En la lista de reglas de Authorized Crawler, localice el crawler objetivo por Intelligence Name y active su interruptor de Status.
De forma predeterminada, configure reglas individuales para motores de búsqueda específicos (Google, Bing, Baidu, Sogou y Yandex) o habilite la regla Authorized Search Engine Whitelist para permitir todos los crawlers compatibles.