全部產品
Search
文件中心

Edge Security Acceleration:AI爬蟲管理快速上手

更新時間:Apr 21, 2026

通過 AI 爬蟲管理功能,您可以對訪問網站的主流 AI 爬蟲進行識別和存取控制,靈活配置攔截或監控策略以保護網站內容。

前提條件

步驟一:開啟AI爬蟲管理功能

  1. 在ESA控制台選擇網站管理,在網站列單擊目標網站。

  2. 在左側導覽列,選擇安全防護 > AI 爬蟲管理

  3. AI 爬蟲管理頁面,選擇爬蟲客戶端頁簽,將羅列出可進行管理的耙梳程式

  4. 點擊需要進行管理的耙梳程式的狀態開關,完成二次確認後,ESA即可自動建立一條專屬防護規則並按照處置動作進行防護。

    說明

    開啟後,系統會自動開始識別和記錄AI爬蟲訪問資料,不會影響現有業務流量。

    image

步驟二:查看爬蟲訪問概況

開啟耙梳程式管理後,您可以在資料分析頁簽查看AI爬蟲的訪問資料和趨勢。

  1. AI 爬蟲管理頁面,選擇資料分析頁簽。

  2. 根據業務需求配置篩選器並選擇合適的時間段即可進行分析。

    說明

    資料擷取可能存在5-10分鐘延遲。如果剛開通功能,請等待資料收集後再查看。

    image

    image

步驟三:配置存取控制規則

  1. AI 爬蟲管理頁面,選擇爬蟲客戶端頁簽,

  2. 處置動作列,單擊image,選擇控制動作,單擊確定

    • 攔截:攔截該爬蟲的所有請求,返回設定的錯誤響應碼和響應內容。

    • 觀察:記錄訪問資料但不攔截。

    說明

    此方式適合快速控制單個爬蟲,也可批量勾選爬蟲並大量編輯處置動作

  3. 前往設定頁簽,單擊攔截響應欄右側配置,可對自訂被攔截的耙梳程式收到的響應內容:

    • 響應的攔截頁面:選擇爬蟲程式被攔截時收到的響應頁面,可通過配置自訂頁面編輯。

    • 響應碼:填入爬蟲程式被攔截時收到的響應碼。預設為403,暫不支援408、444、499。

    image