Autorisez les crawlers des moteurs de recherche approuvés tels que Google, Bing, Baidu, Sogou et Yandex à accéder à votre domaine.
Prérequis
Vous disposez d’une instance WAF activée avec le module Bot Management activé.
Votre site web est ajouté à WAF. Pour plus d’informations, consultez la rubrique Tutoriels.
Fonctionnement
Les règles de crawlers autorisés s’appuient sur la bibliothèque de crawlers d’Alibaba Cloud pour autoriser automatiquement les requêtes légitimes issues de robots d’indexation. Cette bibliothèque est mise à jour en continu grâce à l’analyse du trafic réseau d’Alibaba Cloud et actualise dynamiquement les adresses IP des principaux moteurs de recherche, notamment Google, Baidu, Sogou, Bing et Yandex.
Une fois les règles de crawlers autorisés activées, les requêtes provenant des adresses IP des moteurs de recherche approuvés contournent automatiquement la détection Bot Management.
Vous pouvez également utiliser les règles Access Control/Throttling pour filtrer les requêtes provenant des adresses IP des crawlers autorisés. Consultez la rubrique Configurer une politique de protection personnalisée.
Procédure
Connectez-vous à la console Web Application Firewall.
Dans la barre de menu supérieure, sélectionnez le groupe de ressources et la région de votre instance Web Application Firewall (Chinese Mainland ou Outside Chinese Mainland).
Dans le volet de navigation de gauche, choisissez .
Sur la page Website Protection , basculez vers le nom de domaine à configurer.
Cliquez sur l’onglet Bot Management . Dans la section Authorized Crawler , activez l’interrupteur Status , puis cliquez sur Configure Now .
-
Dans la liste des règles Authorized Crawler , repérez le crawler cible selon son Intelligence Name et activez son interrupteur Status .
Par défaut, configurez des règles individuelles pour des moteurs de recherche spécifiques (Google, Bing, Baidu, Sogou et Yandex), ou activez la règle Authorized Search Engine Whitelist pour autoriser tous les crawlers pris en charge.