Bots支持简易模式和高级模式的配置。通过简易模式您可以快速的为当前站点配置爬虫管理,而高级模式提供了更为精准的爬虫规则,方便您针对性的对网站或APP作出调整。
注意事项
通过Bots规则拦截的请求将不会计入费用,也不会消耗套餐额度。
简易模式
简易模式是面向安全入门级用户的机器流量、爬虫管理功能,相比于需要专业配置能力配置复杂规则的高级模式,简易模式只需要快速选择对某类爬虫的处置动作即可实现对爬虫的管理。
操作步骤
配置项说明
配置项 | 说明 |
绝对是Bot | 绝对是Bot的请求往往包含大量恶意爬虫请求。一般建议做拦截或滑块挑战。 |
可能是Bot | 可能是Bot的请求风险较绝对是Bot相对较低,有可能包含恶意爬虫以及其他流量。一般建议观察或在风险较高时期做滑块挑战。 |
已通过验证的Bot | 已通过验证的Bot通常是各类搜索引擎的爬虫,有利于您网站的SEO优化。一般建议放行,如您不希望任何搜索引擎爬虫访问您的站点时可做拦截操作。 |
可能是真人(该类型不支持设置处置动作) | 大概率来自真实真人用户的访问,不建议做特殊处置动作。 |
对静态资源请求生效 | 绝对是Bot、可能是Bot、已通过验证的Bot的配置默认仅对动态资源请求(这些请求将会经过加速访问您的源站)生效,开启后将对命中ESA缓存的请求(通常是图片、视频等静态文件)生效。 |
JavaScript检测 | ESA将使用轻量隐性的JavaScript检测优化Bot识别结果。 说明 仅浏览器客户端可以通过JavaScript检测,如果您存在从IDC机房访问您的站点的业务,请不要开启该功能避免误拦截。 |
高级模式
通过高级模式,您可以为浏览器Web页面或基于iOS/Android原生开发的App提供防爬功能。Bot管理支持您对不同特征的请求做爬虫挑战,也支持您直接使用系统内置的爬虫库(搜索引擎爬虫、AI智能防护、爬虫威胁情报库、IDC黑名单、伪造爬虫名单等)而无需自己手动分析和更新爬虫特征。
操作步骤
设置网页防爬规则
如果您通过浏览器访问网页或H5页面(包括App中使用的H5页面)等,您可以通过设置浏览器访问网页的防爬规则,更有针对性地对业务进行爬虫风险防护。
配置模块 | 配置项 | 说明 |
全局配置 | 规则集名称 | 设置规则集名称,支持输入英文字符(大小写)、数字(0~9)及下划线(_)。 |
防护目标类型 | 选择网页/浏览器,表示防护通过浏览器访问的网页或H5页面等,包括App中使用纯H5页面呈现的内容。 | |
SDK集成方式 |
| |
跨域调用 | 选择自动集成时,如果您有多个站点均开启了Bot管理的Web SDK自动集成且多个站点域名互相访问(如通过站点B下某页面调用当前站点A的登录接口),为了防止多次嵌入JS代码,您需勾选并选择跨域访问的来源站点域名(即例子中的B站点)。 | |
当请求匹配以下规则时... | 设置要匹配的用户请求特征,请求匹配规则详细信息请参见WAF。 | |
则执行... | 合法Bot管理 | 搜索引擎爬虫白名单,支持主流搜索引擎的爬虫IP信息,可动态更新,目前包含Google、百度、搜狗、Bing、360、Yandex。 选择指定的搜索引擎爬虫后,来自相关搜索引擎的合法爬虫IP将被直接放行,不经过Bot管理模块的防护检测。 |
Bot特征识别 |
| |
Bot行为识别 | AI智能防护,防爬规则会通过AI智能防护引擎对访问流量进行分析和自动学习,生成有针对性的防护规则或黑名单。
| |
自定义限速 |
| |
爬虫威胁情报库 | 收录一段时间内在阿里云上对多个用户有多次恶意爬取行为的攻击源IP地址。 您可设置爬虫威胁情报库为观察或滑块校验。 | |
IDC黑名单封禁 | 会封禁选中IP库。如果您使用公有云或IDC机房的源IP来访问,请注意加白已知的合法调用,如支付宝或微信的支付回调、监控程序等。IDC黑名单封禁支持如下IP库:阿里云、世纪互联、美团云、腾讯云、其他。 您可设置IDC黑名单封禁为观察、滑块校验或拦截。 | |
伪造爬虫拦截 | 开启后将拦截合法Bot管理中所有搜索引擎的User-Agent,已开启白名单的搜索引擎对应的合法客户端IP将被放行。 | |
生效时间 | 创建规则后默认立即生效且永久生效。您可以选择对不同规则按指定时间段生效或按指定的周期生效。 |
设置App防爬规则
如果您使用的是基于iOS或Android原生开发的App(不包括App中使用的H5页面),您可以通过设置App防爬规则,更有针对性地对业务进行爬虫风险防护。
配置模块 | 配置项 | 说明 |
全局配置 | 规则集 | 设置规则集名称,支持输入英文字符(大小写)、数字(0~9)及下划线(_)。 |
防护目标类型 | 选择APP,表示对使用基于iOS或Android原生开发的App(不包括App中使用的H5页面)进行防护。 | |
SDK集成方式 | 您需要单击获取并复制appkey,填写信息申请获取SDK包。更多信息,请参见Android应用集成SDK或iOS应用集成SDK。SDK集成后,将会采集客户端的风险特征并生成安全签名附带在请求中,WAF会根据签名特征进行请求风险的识别和拦截。 | |
当请求匹配以下规则时... | 设置要匹配的用户请求特征,请求匹配规则详细信息请参见WAF。 | |
则执行... | Bot特征识别 |
|
Bot限速 |
| |
爬虫威胁情报库 | 收录一段时间内在阿里云上对多个用户有多次恶意爬取行为的攻击源IP地址。 | |
IDC黑名单封禁 | 开启此开关后,会封禁选中IP库。如果您使用公有云或IDC机房的源IP来访问,请注意加白已知的合法调用,如支付宝或微信的支付回调、监控程序等。IDC黑名单封禁支持如下IP库:阿里云、世纪互联、美团云、腾讯云、其他。 | |
生效时间 | 创建规则后默认立即生效且永久生效。您可以选择对不同规则按指定时间段生效或按指定的周期生效。 |
不同套餐的支持情况
简易模式
功能项 | Entrance | Pro | Premium | Enterprise |
绝对是Bot | 支持 (处置动作仅支持观察、放行) | 支持 (处置动作仅支持观察、放行) | 支持 | 支持 |
可能是Bot | 支持 (处置动作仅支持观察、放行) | 支持 (处置动作仅支持观察、放行) | 支持 | 支持 |
已通过验证的Bot | 不支持 | 不支持 | 支持 | 支持 |
对静态资源请求生效 | 不支持 | 不支持 | 不支持 | 支持 |
JavaScript检测 | 不支持 | 不支持 | 不支持 | 支持 |
高级模式
功能项 | Entrance | Pro | Premium | Enterprise |
支持配置Bot管理规则集数 | 不支持 | 不支持 | 不支持 | 10个 |