Ikhtisar
Mesin pencari menggunakan web crawler untuk mengambil data secara otomatis dari World Wide Web sesuai dengan aturan tertentu. Sebagai program atau skrip, web crawler juga dikenal sebagai spider atau spiderbot.
Skenario
Web crawler mengonsumsi traffic dan bandwidth server situs web saat mengaksesnya. Anda dapat menambahkan catatan Sistem Nama Domain (DNS) untuk menentukan jalur mesin pencari. Catatan DNS ini mengarahkan nama domain situs web ke alamat server tertentu, sehingga permintaan DNS dari web crawler dapat dialihkan ke alamat server yang ditentukan.
Jika Anda perlu menutup sementara situs web tetapi tetap mempertahankan peringkat optimasi mesin pencari (SEO), Anda dapat menentukan jalur mesin pencari agar web crawler tetap dapat mengambil informasi tentang situs web setelah situs dimatikan.
Jalur mesin pencari
Garis utama (Kode Garis) | Garis sekunder (Kode Garis) | Garis tersier (Kode Garis) |
Mesin Pencari | Google (google) | Google_Tiongkok Daratan (cn_search_google) |
Google_Diluar Tiongkok Daratan (os_search_google) | ||
Baidu (baidu) | Baidu_Tiongkok Daratan (cn_search_baidu) | |
Baidu_Diluar Tiongkok Daratan (os_search_baidu) | ||
Bing (biying) | Bing_Tiongkok Daratan (cn_search_biying) | |
Bing_Diluar Tiongkok Daratan (os_search_biying) | ||
Sogou (sougou) | Sogou_Tiongkok Daratan (cn_search_sougou) | |
Sogou_Diluar Tiongkok Daratan (os_search_sougou) | ||
Qihoo (qihu) | Qihoo_Tiongkok Daratan (cn_search_qihu) | |
Qihoo_Diluar Tiongkok Daratan (os_search_qihu) | ||
Youdao (youdao) | Youdao_Tiongkok Daratan (cn_search_youdao) | |
Youdao_Diluar Tiongkok Daratan (os_search_youdao) | ||
Yahoo (yahoo) | Yahoo_Tiongkok Daratan (cn_search_yahoo) | |
Yahoo_Diluar Tiongkok Daratan (os_search_yahoo) |
FAQ
Mengapa permintaan DNS yang dikirim dari Google Chrome tidak cocok dengan jalur mesin pencari?
Anda dapat menggunakan jalur mesin pencari untuk menentukan alamat IP keluar dari server DNS lokal yang digunakan oleh web crawler. Alamat IP tersebut bukan milik server DNS lokal yang digunakan oleh browser.
Mengapa permintaan DNS dari web crawler mesin pencari gagal mencocokkan jalur mesin pencari?
Sebagai contoh, jika web crawler Baidu menggunakan server DNS lokal yang berbeda dari server DNS lokal yang seharusnya digunakan, maka permintaan DNS dari web crawler Baidu tidak akan cocok dengan jalur mesin pencari Baidu.