Crawler berbahaya dapat membebani server Anda, mencuri konten sensitif, dan menurunkan pengalaman pengguna sah. Modul Bot Management Web Application Firewall (WAF) menyediakan aturan anti-crawler berbasis skenario yang dapat disesuaikan dengan profil lalu lintas Anda—melindungi halaman login, alur registrasi, atau proses pemesanan tanpa memblokir pengguna asli.
Prasyarat
Sebelum memulai, pastikan Anda telah:
Memiliki instans WAF berlangganan yang menjalankan edisi Pro, Business, atau Enterprise (modul Bot Management harus diaktifkan).
Menambahkan website Anda ke WAF. Untuk informasi selengkapnya, lihat Tutorials.
Buat aturan anti-crawler
Alur penyiapan terdiri dari empat langkah: konfigurasi skenario, konfigurasi aturan perlindungan, verifikasi aksi (opsional), dan publikasi.
Masuk ke WAF console.
Pada bilah navigasi atas, pilih kelompok sumber daya dan wilayah instans WAF Anda. Wilayah dapat berupa Chinese Mainland atau Outside Chinese Mainland.
Pada panel navigasi kiri, pilih Protection Settings > Website Protection.
Di bagian atas halaman Website Protection, pilih nama domain yang ingin Anda lindungi.

Buka tab Bot Management.
Pengaturan pertama kali: Di bagian Scenario-specific Configuration, klik Start.
Menambahkan aturan lain: Klik Add di pojok kanan atas.
Setiap nama domain mendukung hingga 50 aturan anti-crawler.
Pada langkah Configure Scenarios, atur informasi dasar dan klik Next.
Parameter Deskripsi Scenario Skenario layanan yang akan dilindungi, seperti logon, registrasi, atau penempatan pesanan Service type Pilih Websites untuk melindungi halaman web, halaman HTML5, dan aplikasi HTML5. Jika domain diakses melalui nama domain berbeda, pilih Use Intermediate Domain Name dan pilih nama domain perantara dari daftar drop-down Traffic characteristics Tambahkan hingga lima kondisi pencocokan untuk mengidentifikasi trafik target. Setiap kondisi terdiri dari bidang pencocokan (bidang header permintaan HTTP), operator logika, dan konten pencocokan. Setelah memasukkan alamat IP, tekan Enter untuk mengonfirmasi. Untuk daftar lengkap bidang pencocokan, lihat Fields in match conditions Pada langkah Configure Protection Rules, aktifkan opsi perlindungan yang Anda butuhkan dan klik Next.
Opsi Fungsinya Script-based Bot Block Menjalankan tantangan JavaScript pada klien. Permintaan dari alat non-browser yang tidak dapat menjalankan JavaScript akan diblokir, sehingga menghentikan serangan berbasis skrip sederhana Dynamic Token Challenge Secara default dinonaktifkan. Saat diaktifkan, WAF memverifikasi signature pada setiap permintaan dan memblokir permintaan yang gagal. Signature Verification Exception dipilih secara default dan tidak dapat dibatalkan pilihannya. Secara opsional, aktifkan deteksi Signature Timestamp Exception dan WebDriver Attack Intelligent Protection Menggunakan pembelajaran mesin untuk menganalisis trafik akses dan menghasilkan daftar blokir atau aturan perlindungan. Atur Protection Mode ke Monitor (mencatat trafik yang cocok tanpa memblokir) atau Slider CAPTCHA (memerlukan verifikasi slider CAPTCHA sebelum akses diberikan) Bot Threat Intelligence Feed Memeriksa alamat IP klien terhadap pustaka intelijen ancaman Alibaba Cloud. Klien yang diidentifikasi sebagai crawler aktif harus melewati verifikasi slider CAPTCHA Data Center Blacklist Memblokir permintaan dari alamat IP berbahaya yang diketahui milik pusat data Alibaba Cloud dan penyedia cloud utama lainnya. Pilih pustaka yang akan diterapkan dari daftar drop-down. 
IP Address Throttling Membatasi laju permintaan berdasarkan alamat IP untuk mengurangi serangan banjir HTTP. Jika jumlah permintaan dari IP yang sama dalam jendela waktu yang dikonfigurasi melebihi ambang batas, WAF menerapkan aksi yang dipilih (Monitor, Block, atau Captcha) selama durasi yang dikonfigurasi. Mendukung hingga tiga kondisi throttling. Untuk detail konfigurasi, lihat Create a custom protection policy Custom Session-based Throttling Membatasi laju permintaan berdasarkan session. Jika jumlah permintaan dari session yang sama dalam jendela waktu yang dikonfigurasi melebihi ambang batas, WAF menerapkan aksi yang dipilih (Monitor, Block, atau Captcha) selama durasi yang dikonfigurasi. Untuk detail konfigurasi, lihat Create a custom protection policy (Opsional) Pada langkah Verify Actions, uji aturan Anda sebelum diterapkan. Lewati langkah ini dengan mengklik Skip di pojok kiri bawah. Jika ini pertama kalinya Anda membuat aturan anti-crawler, selesaikan langkah ini untuk menghindari positif palsu akibat salah konfigurasi atau masalah kompatibilitas sebelum dipublikasikan. Langkah 1: Masukkan alamat IP publik Masukkan alamat IP publik perangkat uji Anda (komputer atau ponsel). Pengujian hanya berlaku untuk permintaan dari alamat IP ini dan tidak memengaruhi lalu lintas langsung. Langkah 2: Pilih aksi yang akan diuji Pilih satu aksi untuk divalidasi: JavaScript Validation, Dynamic Token-based Authentication, Slider CAPTCHA Verification, atau Block Verification. Setelah mengklik Start Test, WAF segera mengirimkan aturan uji ke perangkat Anda dan menampilkan prosedur pengujian, hasil yang diharapkan, serta demo. Baca dengan cermat sebelum melakukan pengujian. Setelah pengujian selesai, klik I Have Completed Test untuk melanjutkan. Jika hasil menunjukkan pengecualian, klik Go Back untuk menyesuaikan aturan dan menguji ulang. Untuk kesalahan pengujian umum dan solusinya, lihat Troubleshoot test errors.
PentingJangan gunakan alamat IP dari perintah
ipconfig—perintah tersebut mengembalikan alamat IP internal. Untuk mendapatkan alamat IP publik Anda, klik Alibaba Network Diagnose Tool dan cari nilai Local IP. Anda juga dapat mencari alamat IP Anda melalui browser.Pada langkah Preview and Publish Protection Rules, tinjau aturan dan klik Publish. Aturan langsung berlaku setelah dipublikasikan.
Jika ini aturan anti-crawler pertama Anda, ID aturan tidak akan ditampilkan hingga setelah Anda mempublikasikannya. Temukan ID tersebut di tab Bot Management pada halaman Security Report. Gunakan ID aturan tersebut untuk memfilter permintaan yang sesuai di Log Service for WAF.
Atasi kesalahan pengujian
Tidak ada permintaan uji yang valid terdeteksi
Penyebab paling umum adalah lalu lintas uji tidak mencapai WAF. Periksa apakah permintaan dikirim ke alamat IP yang memetakan CNAME yang disediakan oleh WAF, dan apakah bidang header dalam permintaan sesuai dengan pengaturan Traffic Characteristics dalam aturan Anda. Jika alamat IP sumber perangkat uji Anda tidak sesuai dengan yang Anda masukkan di Langkah 1, gunakan Alibaba Network Diagnose Tool untuk mendapatkan alamat IP publik Anda saat ini.
Permintaan uji gagal verifikasi
Hal ini biasanya berarti pengujian tidak mensimulasikan akses pengguna nyata. Alat otomatisasi dan mode debugging melewati sinyal berbasis browser yang diperiksa oleh WAF. Gunakan sesi browser nyata pada perangkat uji. Pastikan juga bahwa Service Type diatur dengan benar—pilih Websites untuk halaman web, bukan opsi aplikasi. Jika Anda menggunakan nama domain perantara, pastikan nama yang benar telah dipilih.
Verifikasi tidak dipicu
Aturan uji mungkin memerlukan beberapa percobaan untuk dihasilkan. Jalankan pengujian beberapa kali lagi hingga aturan dikirimkan ke perangkat Anda.
Masalah kompatibilitas frontend
Hubungi layanan pelanggan di grup DingTalk atau kirim tiket.
Langkah berikutnya
Buka tab Bot Management pada halaman Security Report untuk meninjau hasil perlindungan dan memeriksa permintaan yang sesuai dengan aturan. Gunakan ID aturan untuk mengkueri log detail di Log Service for WAF.