All Products
Search

This Product

    Edge Security Acceleration:Mulai cepat

    Document Center

    Edge Security Acceleration:Mulai cepat

    Last Updated:Apr 22, 2026

    Fitur manajemen crawler AI memungkinkan Anda mengidentifikasi dan mengontrol akses crawler AI utama ke situs Anda. Anda dapat mengonfigurasi kebijakan blokir atau pemantauan untuk melindungi konten situs.

    Prasyarat

    • Anda telah menambahkan Nama domain ke ESA. Untuk informasi selengkapnya, lihat Add a domain name to ESA.

    • Situs Anda harus memiliki subscription berbayar (Pro, Premium, atau Enterprise).

    Langkah 1: Aktifkan manajemen crawler AI

    1. Di Konsol ESA, pilih site management, lalu di kolom Website, klik situs target.

    2. Di panel navigasi sebelah kiri, pilih Security > AI Crawler Control.

    3. Di halaman AI Crawler Control, pilih tab Crawler Client. Daftar Crawler yang dapat dikelola akan muncul.

    4. Aktifkan sakelar Status untuk crawler yang diinginkan. Setelah Anda mengonfirmasi tindakan tersebut, ESA secara otomatis membuat aturan proteksi khusus dan menerapkan Action yang ditentukan.

      Catatan

      Setelah fitur ini diaktifkan, sistem secara otomatis mengidentifikasi dan mencatat data akses crawler AI tanpa memengaruhi lalu lintas layanan Anda.

      image

    Langkah 2: Lihat ikhtisar akses crawler

    Setelah mengaktifkan manajemen crawler, Anda dapat melihat data dan tren akses crawler AI di tab Data Analytics.

    1. Di halaman AI Crawler Control, pilih tab Data Analytics.

    2. Konfigurasikan Filter sesuai kebutuhan bisnis Anda dan pilih rentang waktu yang sesuai untuk analisis.

      Catatan

      Pengumpulan data mungkin tertunda 5 hingga 10 menit. Jika Anda baru saja mengaktifkan fitur ini, tunggu hingga data terisi sebelum melihat analitik.

      image

      image

    Langkah 3: Konfigurasi aturan kontrol akses

    1. Di halaman AI Crawler Control, pilih tab Crawler Client.

    2. Di kolom Action, klik ikon image, pilih tindakan, lalu klik OK:

      • Block: Memblokir semua permintaan dari crawler dan mengembalikan kode respons serta konten yang dikonfigurasi.

      • Monitor: Mencatat data akses tanpa memblokir permintaan.

      Catatan

      Metode ini merupakan cara cepat untuk mengontrol satu crawler. Anda juga dapat memilih beberapa crawler dan menggunakan Batch Edit Action.

    3. Buka tab Settings dan klik Blocking Response di bagian Configure untuk menyesuaikan respons bagi crawler yang diblokir:

      • Block Response Page: Pilih halaman blokir yang akan ditampilkan kepada crawler yang diblokir. Anda dapat menyesuaikan halaman tersebut dengan mengikuti petunjuk dalam Configure a custom page.

      • Response Code: Masukkan kode respons yang dikembalikan kepada crawler yang diblokir. Nilai default-nya adalah 403. Kode respons 408, 444, dan 499 tidak didukung.

      image