概述
搜尋引擎是指搜尋引擎爬蟲(又被稱為網頁蜘蛛,網路機器人),是一種按照一定的規則自動抓取全球資訊網資訊的程式或者指令碼。
應用情境
網站被搜尋引擎爬蟲訪問會耗費伺服器的流量和頻寬,可通過設定搜尋引擎線路專門指向一個伺服器位址,將來自搜尋引擎爬蟲的DNS請求指向該伺服器位址。從而有效地控制爬蟲的爬取路徑。
臨時閉站做SEO收錄排名保護,可通過搜尋引擎線路設定個搜尋引擎專線,這樣雖然網站關閉,但是蜘蛛爬蟲還可以正常抓取網站資訊,從而達到降低對網站SEO收入排名影響的目的。
搜尋引擎線路枚舉
一級線路(線路CODE) | 二級線路(線路CODE) | 三級線路(線路CODE) |
搜尋引擎(search) | Google(google) | Google_中國內地(cn_search_google) |
Google_境外(os_search_google) | ||
百度(baidu ) | 百度_中國內地(cn_search_baidu) | |
百度_境外(os_search_baidu) | ||
必應 (biying) | 必應_中國內地(cn_search_biying) | |
必應_境外(os_search_biying) | ||
搜狗(sougou) | 搜狗_中國內地(cn_search_sougou) | |
搜狗_境外(os_search_sougou) | ||
奇虎(qihu) | 奇虎_中國內地(cn_search_qihu) | |
奇虎_境外(os_search_qihu) | ||
有道 (youdao) | 有道_中國內地(cn_search_youdao) | |
有道_境外(os_search_youdao) | ||
雅虎(yahoo) | 雅虎_中國內地(cn_search_yahoo) | |
雅虎_境外(os_search_yahoo) |
常見問題
使用google瀏覽器訪問,為何沒有命中搜尋引擎線路?
答:搜尋引擎線路是指搜尋引擎爬蟲所用LocalDNS出口IP,跟瀏覽器所用的LocalDNS出口IP不一樣。
為什麼會出現搜尋爬蟲沒有抓取到搜尋引擎配置的線路?
答:以百度爬蟲舉例,如果百度爬蟲伺服器的本地DNS使用的不是百度的localdns,那麼當DNS查詢時,就會出現百度搜尋爬蟲無法抓取到搜尋引擎配置的線路。