Modul Bot Management dalam Web Application Firewall (WAF) menyediakan fitur konfigurasi berbasis skenario untuk memantau crawler yang menargetkan domain Anda, memblokir permintaan dari alamat IP berbahaya yang telah diketahui, serta mengonfigurasi aturan anti-crawler kustom—tanpa memerlukan keahlian keamanan internal.
Cara kerja
WAF memelihara pustaka alamat IP crawler berbahaya yang diperbarui secara real time menggunakan intelijen ancaman jaringan Alibaba Cloud di seluruh cloud publik dan pusat data. Saat permintaan tiba, WAF memeriksa IP sumber terhadap pustaka tersebut dan menerapkan aksi yang ditentukan dalam aturan konfigurasi berbasis skenario Anda—mengizinkan crawler normal atau memblokir crawler berbahaya.
Mengidentifikasi crawler normal
Crawler sah mencantumkan kata kunci xxspider dalam header User-Agent dan menunjukkan pola perilaku konsisten: laju permintaan rendah, URL tersebar, serta rentang waktu luas. Untuk menemukan IP sumber permintaan crawler, jalankan perintah reverse nslookup atau tracert pada permintaan tersebut. Sebagai contoh, jika Anda menjalankan perintah reverse nslookup dengan alamat IP crawler Baidu, Anda dapat memperoleh alamat IP sumber crawler tersebut.
Mengidentifikasi crawler berbahaya
Crawler berbahaya mengirim volume besar permintaan ke URL atau Port tertentu dalam periode waktu tertentu. Serangan banjir HTTP seringkali disamarkan sebagai traffic crawler atau permintaan pihak ketiga untuk mengambil data sensitif. Jika tidak diblokir, serangan ini menyebabkan peningkatan utilisasi CPU, kegagalan akses website, dan gangguan layanan.
Prasyarat
Sebelum memulai, pastikan Anda telah memiliki:
Instans WAF yang menjalankan edisi Pro, Business, atau Enterprise
Modul Bot Management diaktifkan untuk instans Anda
Layanan bernilai tambah bot management telah diaktifkan untuk edisi Pro, Business, atau Enterprise.
Batasan
Tiap nama domain mendukung hingga 50 aturan konfigurasi berbasis skenario.