概要
検索エンジンとは、検索エンジンクローラー(Web スパイダーまたは Web ロボットとも呼ばれます)のことを指し、特定のルールに従って World Wide Web 情報を自動的にスクレイピングするプログラムまたはスクリプトです。
シナリオ
Web サイトが検索エンジンクローラーによってアクセスされると、サーバーのトラフィックと帯域幅が消費されます。 検索エンジンクローラーからの DNS リクエストを特定のサーバーアドレスに転送するために、そのサーバーアドレスを特に指す検索エンジン回線を設定できます。 これにより、クローラーのクロールパスを効果的に制御できます。
SEO ランキングを保護するための一時的なサイト閉鎖の場合、検索エンジン回線を通じて検索エンジン専用の回線を設定できます。 こうすれば、サイトがシャットダウンされていても、スパイダークローラーは通常どおり Web サイト情報をスクレイピングできるため、サイトの SEO ランキングへの影響を軽減できます。
検索エンジン回線列挙
プライマリ回線(回線コード) | セカンダリ回線(回線コード) | ターシャリ回線(回線コード) |
検索エンジン (search) | Google (google) | Google_中国本土 (cn_search_google) |
Google_海外 (os_search_google) | ||
Baidu (baidu) | Baidu_中国本土 (cn_search_baidu) | |
Baidu_海外 (os_search_baidu) | ||
Bing (biying) | Bing_中国本土 (cn_search_biying) | |
Bing_海外 (os_search_biying) | ||
Sogou (sougou) | Sogou_中国本土 (cn_search_sougou) | |
Sogou_海外 (os_search_sougou) | ||
Qihu (qihu) | Qihu_中国本土 (cn_search_qihu) | |
Qihu_海外 (os_search_qihu) | ||
Youdao (youdao) | Youdao_中国本土 (cn_search_youdao) | |
Youdao_海外 (os_search_youdao) | ||
Yahoo (yahoo) | Yahoo_中国本土 (cn_search_yahoo) | |
Yahoo_海外 (os_search_yahoo) |
FAQ
Google ブラウザを使用しても検索エンジン回線にヒットしないのはなぜですか?
回答:検索エンジン回線とは、検索エンジンクローラーが使用する LocalDNS 出口 IP のことで、ブラウザが使用する LocalDNS 出口 IP とは異なります。
検索クローラーが設定済みの検索エンジン回線をキャプチャできないのはなぜですか?
回答:Baidu クローラーを例にとると、Baidu クローラーサーバーのローカル DNS が Baidu の LocalDNS を使用していない場合、DNS クエリ中に Baidu 検索クローラーは設定済みの検索エンジン回線をキャプチャできません。