Untuk permintaan dari crawler AI, agen AI, dan bot pencarian AI, Anda dapat menggunakan fitur pengendalian crawler AI dalam Manajemen Bot Web Application Firewall (WAF) untuk melihat ikhtisar permintaan dan data detail, serta melakukan aksi terhadap traffic tersebut dengan satu klik. Program otomatis ini sering mengambil konten web secara masif untuk pelatihan model bahasa besar, membangun basis pengetahuan, dan mendukung aplikasi AI. Fitur ini membantu Anda mengidentifikasi dan mengelola traffic tersebut secara akurat guna melindungi kekayaan intelektual dan data bisnis inti Anda, sekaligus mencegah konsumsi bandwidth server yang berlebihan.
Konsep utama
AI crawler
Tujuan utama: Melakukan pengambilan konten situs secara batch untuk pelatihan model bahasa besar atau membangun korpus bagi Retrieval-Augmented Generation (RAG).
Karakteristik perilaku: Melakukan pengambilan data skala besar dan menyeluruh. Program-program ini biasanya mencantumkan User-Agent khusus di header permintaan dan menyatakan bahwa mereka mengikuti protokol robots.txt.
Perbedaan dari crawler tradisional: Konten yang diambil terutama digunakan untuk pelatihan model atau pembangunan korpus, dan umumnya tidak menghasilkan traffic langsung ke situs.
Contoh khas: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended, CCBot (Common Crawl), dan Bytespider.
AI search
Tujuan utama: Mengambil konten spesifik dari situs sebagai respons terhadap kueri pengguna secara real-time dan menggunakan konten tersebut sebagai sumber kutipan dalam jawaban yang dihasilkan.
Karakteristik perilaku: Didorong oleh kueri pengguna tunggal, akses dilakukan secara real-time, sesuai permintaan, dan hanya pada satu halaman—bukan pengambilan massal di latar belakang. Akses jenis ini biasanya menyertakan tautan sumber dalam jawaban yang dihasilkan, memberikan eksposur dan nilai rujukan bagi situs.
Contoh khas: OAI-SearchBot (OpenAI), PerplexityBot (Perplexity), dan Gemini-Deep-Research (Google).
AI agent
Tujuan utama: Melakukan operasi bisnis tertentu di situs atas nama pengguna nyata, seperti menanyakan informasi, membandingkan harga, mengisi formulir, login, atau mengirimkan pesanan.
Karakteristik perilaku: Melibatkan interaksi dengan niat yang jelas. Selain membaca konten, program ini menjalankan alur kerja bisnis lengkap, termasuk klik dan pengiriman formulir. Program-program ini sering beroperasi dalam lingkungan browser nyata, dan sidik jari aksesnya sangat menyerupai pengguna manusia. Ini merupakan jenis akses yang paling sulit diidentifikasi dan paling berpotensi menimbulkan risiko keamanan bisnis.
Contoh khas: ChatGPT-User (OpenAI), Claude-User (Anthropic), dan berbagai agen AI berbasis teknologi Computer-Use atau otomasi browser.
Prosedur
Penuhi prasyarat berikut:
Objek yang dilindungi telah ditambahkan: Anda harus menambahkan layanan web Anda ke WAF. Jika belum menambahkan layanan Anda, lihat Ikhtisar onboarding.
Manajemen bot diaktifkan: Pengguna subscription harus mengaktifkan manajemen bot (fitur ini tidak didukung oleh edisi subscription Basic). Untuk detailnya, lihat Aktifkan manajemen bot.
Login ke Konsol Web Application Firewall 3.0. Di bilah navigasi atas, pilih kelompok sumber daya dan wilayah (Chinese Mainland atau Outside Chinese Mainland) instans WAF Anda. Di panel navigasi kiri, pilih .
Ikhtisar permintaan AI crawler
Di halaman AI Crawler Management, sistem menampilkan Total AI Crawler Requests, Detected AI Crawlers, dan Blocked AI Crawler Requests. Daftar data detail disediakan di bagian bawah halaman. Anda dapat menggunakan bilah pencarian di bagian atas untuk memfilter berdasarkan Time, Protected object, Path, dan AI category.
Bidang
Name: Nama spesifik crawler atau agen AI.
Category: Jenis AI, yaitu AI crawler, AI agent, atau AI search.
Requests dan Blocked Requests: Jumlah total permintaan dari AI dan jumlah permintaan yang diblokir oleh WAF selama periode tertentu.
Trend Graph: Visualisasi volume permintaan dari waktu ke waktu.
Top Interfaces: Jalur akses dengan volume permintaan tertinggi (misalnya,
/index.php).Protected Object: Objek yang dilindungi yang telah ditambahkan ke WAF.
Mengelola permintaan AI crawler
Secara default, WAF tidak memiliki aturan apa pun untuk permintaan AI crawler. Jika perilaku ini tidak sesuai dengan kebutuhan bisnis Anda, Anda dapat mengelola permintaan AI tertentu secara manual. Lakukan langkah-langkah berikut:
Di halaman AI Crawler Management, temukan nama AI target dalam daftar di bagian bawah.
Di kolom Actions, klik Log atau Block.
Log: Mencatat permintaan tetapi tidak memblokir traffic.
Block: Mencatat permintaan dan memblokir traffic.
WAF secara otomatis menghasilkan templat dan aturan Advanced Custom Rules yang sesuai berdasarkan pilihan Anda. Anda dapat melihatnya di halaman Advanced Custom Rules. Untuk informasi lebih lanjut, lihat Konfigurasikan advanced custom rules untuk manajemen bot.
Rekomendasi konfigurasi
Terapkan kebijakan pengendalian yang berbeda untuk jenis traffic AI yang berbeda. Hindari menggunakan mekanisme seragam untuk memblokir atau mengizinkan seluruh traffic.
I. Kebijakan Pengendalian AI Crawler
Tetapkan otorisasi dan kontrol dasar: Pertama, evaluasi apakah Anda mengizinkan konten situs Anda digunakan untuk pelatihan model. Jika Anda menolak otorisasi, blokir atau terapkan pembatasan laju terhadap crawler pelatihan. Jika Anda memberikan otorisasi, terapkan pembatasan laju untuk mencegah crawling frekuensi tinggi memengaruhi kinerja server origin.
Terapkan kontrol bertingkat: Kelola konten secara berbeda berdasarkan nilainya. Terapkan kontrol ketat pada halaman inti, seperti konten utama dan halaman detail produk. Longgarkan pembatasan untuk konten umum, seperti halaman pengantar publik.
II. Kebijakan Pengendalian AI Search
Izinkan secara default dan pantau: Sebagian besar situs ingin mendapatkan eksposur dan nilai kutipan dari pencarian AI. Izinkan traffic ini secara default, dan juga konfigurasikan pemantauan laju dan traffic.
Gunakan kontrol izin detail halus: Jika Anda memiliki kekhawatiran tentang hak cipta konten atau cakupan kutipan, tetapkan batasan akses untuk direktori atau halaman tertentu. Hal ini memastikan konten publik dapat dikutip dengan benar sekaligus mencegah kebocoran konten sensitif.
III. Kebijakan Pengendalian AI Agent
Integrasikan dengan pengendalian risiko keamanan bisnis: Traffic ini menimbulkan risiko tertinggi. Jangan hanya memblokirnya. Sebaliknya, integrasikan dengan manajemen bot untuk Web Protection/App Protection dan perlindungan keamanan akun.
Perkuat perlindungan untuk operasi kunci: Untuk operasi penting seperti login, pemesanan, klaim kupon, dan pengiriman formulir, tambahkan lapisan perlindungan keamanan akun, pembatasan laju, dan CAPTCHA. Hal ini membantu mencegah penipuan otomatis, seperti registrasi massal, penimbunan stok, dan arbitrase berbahaya. Ini juga memastikan pengalaman pengguna bagi pengguna manusia yang sah tidak terganggu.
IV. Implementasi dan Penyesuaian Dinamis Kebijakan
Kombinasikan kebijakan di atas sesuai kebutuhan bisnis Anda. Pertama, gunakan analisis traffic dan laporan statistik dari sistem pengendalian crawler AI. Pantau terus komposisi dan tren berbagai jenis traffic AI. Berdasarkan informasi tersebut, sesuaikan secara bertahap aturan izin, pembatasan laju, dan pemblokiran Anda. Hal ini membantu Anda menemukan keseimbangan terbaik antara perlindungan konten, keamanan bisnis, dan nilai traffic.