概要
検索エンジンは、ウェブクローラーを使用して、特定のルールに従ってワールドワイドウェブ内のデータを自動的に取得します。 プログラムまたはスクリップとして、webクローラーはスパイダーまたはスパイダーボットとも呼ばれます。
シナリオ
webサイトサーバーのトラフィックと帯域幅は、webサイトがwebクローラーによってアクセスされるときに消費されます。 ドメインネームシステム (DNS) レコードを追加して、検索エンジン行を追加できます。 DNSレコードは、Webサイトのドメイン名を特定のサーバーアドレスに指定します。 このようにして、webクローラーからのドメイン名のDNS要求は、指定されたサーバーアドレスにリダイレクトできます。
webサイトを一時的にシャットダウンし、webサイトの検索エンジン最適化 (SEO) ランキングを維持する必要がある場合は、検索エンジン行を指定して、webサイトのシャットダウン後にwebクローラーがwebサイトに関する情報を取得できるようにします。
検索エンジンライン
第一次ライン (ラインコード) | 二次ライン (ラインコード) | 三次ライン (ラインコード) |
検索エンジン | グーグル (グーグル) | Google_Chinese Mainland (cn_search_google) |
Google_Outside the Chinese Mainland (os_search_google) | ||
Baidu (バイドゥ) | Baidu_Chinese Mainland (cn_search_baidu) | |
Baidu_Outside the Chinese Mainland (os_search_baidu) | ||
ビング (biying) | Bing_Chinese Mainland (cn_search_biying) | |
Bing_Outside the Chinese Mainland (os_search_biying) | ||
Sogou (スゴ) | Sogou_Chinese Mainland (cn_search_sougou) | |
Sogou_Outside the Chinese Mainland (os_search_sougou) | ||
Qihoo (qihu) | Qihoo_Chinese Mainland (cn_search_qihu) | |
Qihoo_Outside the Chinese Mainland (os_search_qihu) | ||
Youdao (youdao) | Youdao_Chinese Mainland (cn_search_youdao) | |
Youdao_Outside the Chinese Mainland (os_search_youdao) | ||
ヤフー (ヤフー) | Yahoo_Chinese Mainland (cn_search_yahoo) | |
Yahoo_Outside the Chinese Mainland (os_search_yahoo) |
よくある質問
Google Chromeから送信されたDNSリクエストが検索エンジンラインと一致しないのはなぜですか?
検索エンジン行を使用して、webクローラーが使用するローカルDNSサーバーの出力IPアドレスを指定できます。 出口IPアドレスは、ブラウザによって使用されるローカルDNSサーバのものではない。
検索エンジンのwebクローラーからのDNS要求が検索エンジンラインと一致しないのはなぜですか?
例としてBaidu webクローラーを取り上げます。 Baidu webクローラーが使用するローカルDNSサーバーが、Baidu webクローラーが使用することになっているローカルDNSサーバーではない場合、Baidu webクローラーからのDNS要求はBaidu検索エンジンラインと一致できません。