Web Application Firewall(Web Application Firewall,簡稱WAF)針對Bot管理模組升級,提供防爬情境化配置功能。您可以基於實際業務情境對防爬規則進行情境化定製,更有針對性地對業務進行爬蟲風險防護。本文介紹如何配置瀏覽器訪問網頁情境的防爬情境化規則。
背景資訊
防爬情境化配置功能支援基於不同業務情境定製防爬規則,結合智能演算法,精準識別爬蟲流量,並對命中規則的爬蟲行為自動處置。同時,在定製情境化防爬規則後,您可以在測試環境中對防爬規則進行應用前的驗證,避免因規則配置不合理或防護相容性問題,對您的網站或App業務產生誤攔截或防護效果低等不利影響。
前提條件
- 訂用帳戶執行個體:已開通進階版、企業版、旗艦版的Bot管理增值服務。
已完成網站接入。具體操作,請參見使用教程。
添加瀏覽器訪問網頁的防爬情境
登入Web Application Firewall控制台,在頂部功能表列,選擇WAF執行個體的資源群組和地區(中國內地、非中國內地)。
在左側導覽列,選擇。
在網站防護頁面上方,切換到要設定的網域名稱。

- 如果您沒有建立過防爬情境化規劃,單擊Bot管理頁簽,在情境化配置模組單擊點我開始,建立您的第一條防爬情境化規則。如果您已建立過防爬情境化規則,在Bot管理頁簽右上方單擊添加,建立更多的防爬情境化規則。說明 每個網域名稱最多可添加50條情境化配置規則。
- 在防護情境定義設定精靈頁面,設定防爬保護目標的基礎資訊,並單擊下一步。
配置項 說明 防護業務情境 填寫該防爬規則防護的業務情境類型。常見情境包括登入、註冊、下單等。 防護目標類型 選擇網頁/瀏覽器,表示對瀏覽器訪問的網頁或H5頁面(包括App中使用的H5頁面)進行防護。 如果網站使用者從另一個網域名稱發起對當前防護目標的訪問請求,則需選擇防護目標有來自其它網域名稱的跨域調用,並從下拉式清單中選擇跨域訪問的來源網域名稱。
防護目標特徵 添加目標流量的HTTP請求欄位及其規則,即訪問該防護目標時,HTTP請求報文中產生的有關該防護業務情境的欄位內容。有關欄位的詳細內容,請參見匹配條件欄位說明。最多可以添加5個條件。 重要 輸入IP地址後需要按斷行符號。 - 在防護規則推薦嚮導頁面,設定防爬情境規則的詳細內容,並單擊下一步。
配置項 說明 簡單指令碼過濾 開啟此開關後,對訪問防爬防護目標的用戶端進行JS校正,對不支援JS校正的來自非瀏覽器類工具的流量進行過濾,阻斷簡單指令碼類攻擊。 動態令牌挑戰 預設未開啟。開啟此開關後,對每一次請求資料進行簽名驗證,不能通過驗簽的請求將被攔截。您可以選擇簽名驗證異常(該項為必選,指未攜帶簽名或者簽名非法)、簽章時間戳異常、WebDriver攻擊,開啟動態令牌挑戰。 AI智能防護 開啟此開關後,防爬規則會通過AI智能防護引擎對訪問流量進行分析和自動學習,產生有針對性的防護規則或黑名單。您可根據需要將AI智能防護產生的規則設定為觀察模式或滑塊校正模式。設定為觀察模式,防爬規則會允許存取命中流量並將流量記錄在安全報表中;設定為滑塊校正模式,用戶端需完成滑塊校正後才能繼續訪問防護目標。 爬蟲威脅情報庫匹配 通過與阿里雲威脅情報庫匹配,準確識別出阿里雲上對多個使用者有多次惡意爬取行為的攻擊源IP地址,來自這些攻擊源IP地址的訪問請求將需要完成滑塊校正,才能繼續訪問防護目標。 IDC黑名單封鎖 封鎖來自阿里雲和其他主流雲廠商IDC黑名單庫的IP地址,阻止這些黑名單地址對防護目標發起訪問請求。 IP限速 設定訪問頻率限制條件,有針對性地過濾訪問頻率過高的爬蟲請求,有效緩解CC攻擊。 您可以自訂IP限速條件來規定在指定時間長度內,來自同一IP地址的訪問次數超過指定閾值時,對來自該IP的訪問請求執行阻斷、滑塊校正或觀察的處置動作,並規定處置動作的生效時間長度。最多可以設定3個條件。相關內容,請參見設定自訂防護策略。
自訂會話限速 開啟後即可自訂訪問頻率限制條件,有針對性地過濾訪問頻率過高的爬蟲請求,有效緩解CC攻擊。 您可以自訂會話限速條件來規定在指定時間長度內,來自同一會話的訪問次數超過指定閾值時,對該會話執行阻斷、滑塊校正或觀察的處置動作,並規定處置動作的生效時間長度。相關內容,請參見設定自訂防護策略。
在防護動作驗證嚮導頁面,測試防爬防護規則。
建議您先完成防護動作驗證,再發布策略,避免出現因規則配置錯誤、相容性等問題引發誤攔截。如果您確認規則配置無誤,也可以單擊左下角跳过,直接创建。
驗證步驟如下:
第一步:填写客户端公网测试IP:填寫您測試裝置(PC或手機)的公網IP。防爬規則驗證測試僅針對該公網IP生效,不會對您的業務產生影響。
重要請不要填寫通過ipconfig查詢的IP地址(即內網IP地址)。如果不確定您裝置的公網IP,可以通過線上IP查詢工具查詢。
第二步:选择动作进行测试:將對防護規則推薦中配置策略所涉及到的防護動作(可選JS校正防護效果驗證、动态令牌验证、滑块验证、攔截驗證)產生一條只針對您測試IP生效的測試規則,驗證防護動作的執行結果。
在測試動作模組上單擊去测试,WAF會將防護策略即刻下發到測試裝置,同時為您展示測試效果示範圖和說明,建議您仔細閱讀。
完成測試後,單擊我已完成测试進入下一步;如果測試結果異常,可以單擊返回去再准备一下,最佳化防爬規則後重新測試。
- 在策略預覽和發布頁面,確認策略的內容,單擊發布。策略發布後即刻生效。說明 首次建立情境時不會展示規則ID,正式發布防爬情境化規則後,您可以在安全報表頁面的Bot管理頁簽下方,查看規則ID資訊。規則ID可用於Log Service中檢索特定規則的命中情況。
防爬策略測試常見問題
若在防護動作驗證時出現異常情況,可參考表格解決對應問題。
報錯 | 原因 | 解決方案 |
未查詢到任何有效測試請求,您可以查看協助文檔或諮詢我們以分析可能的原因。 | 實際測試請求沒有發送成功,或者沒有發送到WAF。 | 確認測試請求已經成功發送到WAF解析的地址。 |
實際測試請求的欄位內容與防爬規則中定義的防護目標特徵不一致。 | 在防爬策略中修改防護目標特徵的內容。 | |
實際測試請求的源IP與配置策略中填寫的公網測試IP不一致。 | 請確保您使用的是正確的公網IP,建議直接使用診斷工具查詢您的公網IP地址。 | |
請求未通過校正,您可以查看協助文檔或諮詢我們以分析可能的原因。 | 沒有類比真實使用者訪問,例如使用了偵錯模式、自動化工具等。 | 測試時使用用戶端真實類比使用者訪問。 |
防護情境選擇錯誤,例如實際需要配置App防爬情境規則,但錯選為網頁/瀏覽器。 | 在防爬情境化規則中修改防護情境類型。 | |
訪問請求存在跨域的情況,但在防爬情境化規則中未正確配置。 | 修改防爬情境化規則,選中防護目標有來自其它網域名稱的跨域調用並從下拉式清單中選擇跨域訪問的來源網域名稱。 | |
前端相容性問題。 | 請提交工單,聯絡我們。 | |
請求未觸發校正,您可以查看協助文檔或諮詢我們以分析可能的原因。 | 測試規則沒有下發完畢。 | 建議您多測試幾次,等待防爬測試規則下發完成。 |
未攔截且查詢到任何有效測試請求,您可以查看協助文檔或諮詢我們以分析可能的原因。 | 實際測試請求沒有發送成功,或者沒有發送到WAF。 | 確認測試請求已經成功發送到WAF解析的地址。 |
實際測試請求的欄位內容與防爬規則中定義的防護目標特徵不一致。 | 在防爬策略中修改防護目標特徵的內容。 | |
實際測試請求的源IP與配置策略中填寫的公網測試IP不一致。 | 請確保您使用的是正確的公網IP,建議直接使用診斷工具查詢您的公網IP地址。 |