全部产品
Search
文档中心

搜索引擎线路

更新时间: 2017-08-24

(1)什么场景下会使用搜索引擎线路?

这里的搜索引擎是指搜索引擎爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。

场景1:如果您的企业有多台服务器,希望其中一台服务器专门应用于市场上的各类搜索引擎爬虫来抓取网站信息,此方法可以有效地控制蜘蛛的爬取路径,来缓解主站因蜘蛛爬虫带来的耗费带宽与流量、网站访问速度慢等问题。

场景2:如果要关停网站会影响到市场上各类搜索引擎的收录和权重,此种场景可以直接将默认更改为搜索引擎线路即可。

(2)搜索引擎线路的添加

  • 搜索引擎:此搜索引擎线路是一条总线路,如设置则包含谷歌、百度、必应。举例:

设置解析记录为 www 搜索引擎线路,指向1.1.1.1。

设置解析记录为 www谷歌,指向2.2.2.2。

则最终的效果是,来源谷歌爬虫的,会从2.2.2.2上抓取网站信息。来源于其他如百度、必应的则向1.1.1.1上抓取网站信息,如果来源不属于百度、必应、谷歌的,则走默认线路。

  • 谷歌:设置了谷歌线路,则谷歌蜘蛛爬虫会到此条记录的返回的地址上抓取网站信息,其余来源则走默认线路。
  • 百度:设置了百度线路,则百度蜘蛛爬虫会到此条记录的返回的地址上抓取网站信息,,其余来源则走默认线路。
  • 必应:设置了必应线路,则百度蜘蛛爬虫会到此条记录的返回的地址上抓取网站信息,其余来源则走默认线路。