Plug-in bot-detect digunakan untuk mengidentifikasi web crawler dan mencegahnya merayapi situs web. Topik ini menjelaskan cara mengonfigurasi plug-in bot-detect.
Jenis Plug-in
Plug-in perlindungan keamanan.
Bidang
Bidang | Tipe data | Diperlukan | Nilai default | Deskripsi |
allow | array of string | Tidak | - | Ekspresi reguler yang digunakan untuk mencocokkan header permintaan User-Agent. Jika header permintaan User-Agent cocok, permintaan diizinkan. |
deny | array of string | Tidak | - | Ekspresi reguler yang digunakan untuk mencocokkan header permintaan User-Agent. Jika header permintaan User-Agent cocok, permintaan diblokir. |
blocked_code | number | Tidak | 403 | Kode status HTTP yang dikembalikan jika permintaan diblokir. |
blocked_message | string | Tidak | - | Badan respons HTTP yang dikembalikan jika permintaan diblokir. |
Jika bidang allow dan deny tidak dikonfigurasi, logika default untuk mengidentifikasi crawler akan dieksekusi. Anda dapat mengonfigurasi bidang allow untuk mengizinkan permintaan yang memenuhi logika identifikasi crawler default. Anda juga dapat mengonfigurasi bidang deny untuk menambahkan logika identifikasi crawler tambahan.
Contoh
Mengizinkan permintaan yang memenuhi logika identifikasi crawler default
allow:
- ".*Go-http-client.*"Jika Anda tidak mengonfigurasi bidang allow, permintaan dari pustaka web Golang dianggap sebagai crawler dan akan diblokir.
Tambahkan logika identifikasi crawler
deny:
- "spd-tools.*"Permintaan berikut diblokir berdasarkan konfigurasi aturan sebelumnya.
curl http://example.com -H 'User-Agent: spd-tools/1.1'
curl http://exmaple.com -H 'User-Agent: spd-tools'Aktifkan aturan perlindungan keamanan untuk rute atau nama domain tertentu
Simpan rute route-a dan route-b dengan data konfigurasi kosong.
Terapkan konfigurasi plug-in berikut ke nama domain *.example.com dan test.com:
allow:
- ".*Go-http-client.*"Rute
route-adanroute-badalah rute yang ditentukan saat pembuatan rute gateway. Jika permintaan klien cocok dengan salah satu rute, aturan default bawaan dari rute yang cocok digunakan untuk mengidentifikasi web crawler.Nama domain
*.example.comdantest.comdigunakan untuk mencocokkan nama domain dalam permintaan. Jika permintaan klien cocok dengan salah satu nama domain, aturan yang dikonfigurasi untuk nama domain yang cocok akan berlaku.Aturan yang Anda konfigurasi berlaku secara berurutan. Jika aturan pertama cocok, aturan berikutnya diabaikan.