Izinkan crawler dari mesin pencari resmi seperti Google, Bing, Baidu, Sogou, dan Yandex untuk mengakses domain Anda.
Prasyarat
-
Instans WAF telah diaktifkan dengan modul Bot Management diaktifkan.
-
Situs web Anda telah ditambahkan ke WAF. Untuk informasi selengkapnya, lihat Tutorials.
Cara kerja
Aturan Allowed Crawlers menggunakan pustaka crawler Alibaba Cloud untuk secara otomatis mengizinkan permintaan crawler sah. Pustaka ini terus diperbarui dengan menganalisis lalu lintas jaringan Alibaba Cloud dan secara dinamis memperbarui alamat IP mesin pencari utama, termasuk Google, Baidu, Sogou, Bing, dan Yandex.
Setelah Anda mengaktifkan aturan Allowed Crawlers, permintaan dari alamat IP mesin pencari resmi secara otomatis melewati deteksi Bot Management.
Anda juga dapat menggunakan aturan Access Control/Throttling untuk menyaring permintaan dari alamat IP crawler yang diizinkan. Configure a custom protection policy.
Prosedur
-
Masuk ke Web Application Firewall console.
-
Pada bilah menu atas, pilih kelompok sumber daya dan Wilayah untuk instans Web Application Firewall Anda (Chinese Mainland atau Outside Chinese Mainland).
-
Pada panel navigasi kiri, pilih .
-
Di halaman Website Protection, alihkan ke nama domain yang ingin dikonfigurasi.
-
Klik tab Bot Management. Pada bagian Authorized Crawler, aktifkan sakelar Status dan klik Configure Now.
-
Pada daftar aturan Authorized Crawler, temukan crawler target berdasarkan Intelligence Name dan aktifkan sakelar Status-nya.
Secara default, Anda dapat mengonfigurasi aturan individual untuk mesin pencari tertentu (Google, Bing, Baidu, Sogou, dan Yandex) atau mengaktifkan aturan Authorized Search Engine Whitelist untuk mengizinkan semua crawler yang didukung.