Modul manajemen bot dari Web Application Firewall (WAF) menyediakan fitur konfigurasi berbasis skenario untuk melindungi bisnis Anda dari crawler jahat. Anda dapat mengonfigurasi aturan anti-crawler khusus sesuai dengan kebutuhan bisnis Anda.
Informasi latar belakang
Crawler jahat memiliki berbagai jenis, dan metode crawling terus berkembang untuk menghindari aturan anti-crawler yang dikonfigurasi oleh administrator situs web. Oleh karena itu, aturan tetap tidak selalu efektif dalam memblokir semua crawler jahat. Metode pemblokiran bervariasi berdasarkan karakteristik layanan, dan ahli keamanan diperlukan untuk memberikan perlindungan optimal.
Jika Anda memerlukan perlindungan kuat terhadap crawler jahat atau tidak memiliki ahli keamanan untuk mengonfigurasi aturan anti-crawler, disarankan untuk menggunakan fitur konfigurasi berbasis skenario yang disediakan oleh WAF.
WAF menyediakan pustaka alamat IP crawler jahat dan memperbarui pustaka tersebut secara real-time berdasarkan intelijen ancaman jaringan luas Alibaba Cloud. Anda dapat mengonfigurasi fitur ini untuk mengizinkan permintaan crawler normal dan memblokir permintaan crawler jahat dari alamat IP dalam pustaka.
Risiko dan karakteristik crawler jahat
nslookup atau tracert
Crawler jahat dapat mengirimkan sejumlah besar permintaan ke URL atau port tertentu dari nama domain dalam periode waktu tertentu. Contohnya, serangan banjir HTTP dapat disamarkan sebagai aktivitas crawler atau permintaan pihak ketiga untuk merayapi informasi sensitif. Permintaan jahat dalam jumlah besar dapat menyebabkan peningkatan utilisasi CPU, kegagalan akses situs web, dan gangguan layanan.
Prasyarat
Instans WAF yang menjalankan edisi Pro, Bisnis, atau Enterprise telah dibeli. Modul bot management harus diaktifkan untuk instans Anda.
Batasan
Anda dapat menambahkan hingga 50 aturan scenario-specific configuration untuk setiap nama domain.
Referensi
Konfigurasikan Aturan Anti-Crawler untuk Situs Web