Ikhtisar
Mesin pencari mengacu pada perayap mesin pencari (juga dikenal sebagai web spider atau web robot), yaitu program atau skrip yang secara otomatis mengambil informasi dari World Wide Web sesuai dengan aturan tertentu.
Skenario
Ketika sebuah situs web diakses oleh perayap mesin pencari, hal tersebut mengonsumsi lalu lintas server dan bandwidth. Anda dapat menyiapkan garis mesin pencari yang secara khusus menunjuk ke alamat server untuk mengarahkan permintaan DNS dari perayap mesin pencari ke alamat server tersebut. Hal ini secara efektif mengontrol jalur perayapan perayap.
Untuk penutupan situs sementara guna melindungi peringkat SEO, Anda dapat menyiapkan jalur khusus untuk mesin pencari melalui garis mesin pencari. Dengan cara ini, meskipun situs ditutup, perayap laba-laba masih dapat secara normal mengambil informasi situs web, sehingga mengurangi dampak pada peringkat SEO situs.
Enumerasi garis mesin pencari
Garis utama (kode garis) | Garis sekunder (kode garis) | Garis tersier (kode garis) |
Mesin pencari (search) | Google (google) | Google_Tiongkok Daratan (cn_search_google) |
Google_Luar Negeri (os_search_google) | ||
Baidu (baidu) | Baidu_Tiongkok Daratan (cn_search_baidu) | |
Baidu_Luar Negeri (os_search_baidu) | ||
Bing (biying) | Bing_Tiongkok Daratan (cn_search_biying) | |
Bing_Luar Negeri (os_search_biying) | ||
Sogou (sougou) | Sogou_Tiongkok Daratan (cn_search_sougou) | |
Sogou_Luar Negeri (os_search_sougou) | ||
Qihu (qihu) | Qihu_Tiongkok Daratan (cn_search_qihu) | |
Qihu_Luar Negeri (os_search_qihu) | ||
Youdao (youdao) | Youdao_Tiongkok Daratan (cn_search_youdao) | |
Youdao_Luar Negeri (os_search_youdao) | ||
Yahoo (yahoo) | Yahoo_Tiongkok Daratan (cn_search_yahoo) | |
Yahoo_Luar Negeri (os_search_yahoo) |
FAQ
Mengapa menggunakan browser Google tidak memengaruhi garis mesin pencari?
Jawaban: Garis mesin pencari mengacu pada IP keluar LocalDNS yang digunakan oleh perayap mesin pencari, yang berbeda dari IP keluar LocalDNS yang digunakan oleh browser.
Mengapa perayap pencarian mungkin gagal menangkap garis mesin pencari yang dikonfigurasi?
Jawaban: Mengambil contoh perayap Baidu, jika server perayap Baidu tidak menggunakan LocalDNS milik Baidu, maka selama kueri DNS, perayap pencarian Baidu tidak akan dapat menangkap garis mesin pencari yang telah dikonfigurasi.