通過 AI 爬蟲管理功能,您可以對訪問網站的主流 AI 爬蟲進行識別和存取控制,靈活配置攔截或監控策略以保護網站內容。
前提條件
已將網域名稱接入ESA。具體操作,請參見將網域名稱快速接入ESA。
網站已綁定付費套餐(Pro、Premium、Enterprise)。
步驟一:開啟AI爬蟲管理功能
在ESA控制台選擇網站管理,在網站列單擊目標網站。
點擊需要進行管理的耙梳程式的狀態開關,完成二次確認後,ESA即可自動建立一條專屬防護規則並按照處置動作進行防護。
說明開啟後,系統會自動開始識別和記錄AI爬蟲訪問資料,不會影響現有業務流量。

步驟二:查看爬蟲訪問概況
開啟耙梳程式管理後,您可以在資料分析頁簽查看AI爬蟲的訪問資料和趨勢。
在AI 爬蟲管理頁面,選擇資料分析頁簽。
根據業務需求配置篩選器並選擇合適的時間段即可進行分析。
說明資料擷取可能存在5-10分鐘延遲。如果剛開通功能,請等待資料收集後再查看。


步驟三:配置存取控制規則
在AI 爬蟲管理頁面,選擇爬蟲客戶端頁簽,
在處置動作列,單擊
,選擇控制動作,單擊確定:攔截:攔截該爬蟲的所有請求,返回設定的錯誤響應碼和響應內容。
觀察:記錄訪問資料但不攔截。
說明此方式適合快速控制單個爬蟲,也可批量勾選爬蟲並大量編輯處置動作。
前往設定頁簽,單擊攔截響應欄右側配置,可對自訂被攔截的耙梳程式收到的響應內容:
響應的攔截頁面:選擇爬蟲程式被攔截時收到的響應頁面,可通過配置自訂頁面編輯。
響應碼:填入爬蟲程式被攔截時收到的響應碼。預設為403,暫不支援408、444、499。
