Like & Share:
- Like & Share : Jika ini dapat bermanfaat bagi orang lain? Klik tombol bagikan dan beri tahu mereka!
- Comment : Berikan komentar, komentar spam dan tidak relevan tidak akan pernah dipublikasikan!
- Klik Iklan : Terima kasih atas partisipasi Anda yang berharga. Keterlibatan Anda sangat kami hargai!
TokoDaring.Com – Blokir Google Crawler Dengan Robots.txt. Gary Illyes dari Google merekomendasikan penggunaan robots.txt untuk memblokir crawler dari URL “tambahkan ke troli”, sehingga mencegah pemborosan sumber daya server.
Blokir Google Crawler Dengan Robots.txt
Table of Contents
- Blokir Google Crawler Dengan Robots.txt.
- Hal ini mencegah sumber daya server yang terbuang dari crawler yang tidak berguna.
- Ini adalah praktik terbaik lama yang masih relevan hingga saat ini.
Dalam postingan LinkedIn, Gary Illyes, Analis di Google, mengulangi panduan lama bagi pemilik situs web: Gunakan file robots.txt
untuk mencegah perayap web mengakses URL yang memicu tindakan seperti menambahkan item ke keranjang atau daftar keinginan.
Illyes menyoroti keluhan umum tentang lalu lintas perayap yang membebani server secara berlebihan, sering kali berasal dari bot mesin telusur yang merayapi URL yang dimaksudkan untuk tindakan pengguna.
“Looking at what we’re crawling from the sites in the complaints, way too often it’s action URLs such as ‘add to cart’ and ‘add to wishlist.’ These are useless for crawlers, and you likely don’t want them crawled.”
Gary Illyes
Cara memblokir Google crawler dengan robots.txt
Untuk menghindari beban server yang sia-sia ini, Illyes menyarankan untuk memblokir akses di file robots.txt untuk URL dengan parameter seperti “?add_to_cart” atau “?add_to_wishlist.”
Misalnya adalah seperti ini:https://example.com/product/scented-candle-v1?add_to_cart
Dan https://example.com/product/scented-candle-v1?add_to_wishlist
Anda mungkin harus menambahkan aturan larangan atau biasa disebut dengan disallow untuk mereka di file robots.txt
Anda.”
Illyes menegaskan bahwa crawler Google sepenuhnya mematuhi aturan robots.txt, dengan pengecualian langka yang didokumentasikan secara menyeluruh untuk skenario yang melibatkan “pengambilan yang dipicu oleh pengguna atau berdasarkan kontrak”.
Kepatuhan terhadap protokol robots.txt telah menjadi pilar kebijakan perayapan web Google. Meskipun nasihat ini mungkin tampak sederhana, kemunculan kembali praktik terbaik yang telah berlangsung selama puluhan tahun ini menegaskan relevansinya.
Dengan memanfaatkan standar robots.txt, situs dapat membantu menjinakkan crawler yang terlalu bersemangat agar tidak memonopoli bandwidth dengan permintaan yang tidak produktif.
Kenapa anda harus memblokir Google crawler
Baik Anda menjalankan blog kecil atau platform e-niaga besar, mengikuti saran Google untuk mem-Blokir Google Crawler Dengan Robots.txt dapat membantu dalam beberapa cara:
- Mengurangi Beban Server: Anda dapat mengurangi permintaan server dan penggunaan bandwidth yang tidak diperlukan dengan mencegah crawler mengenai URL yang memicu tindakan seperti menambahkan item ke keranjang atau daftar keinginan.
- Peningkatan Efisiensi Perayap: Memberikan aturan yang lebih eksplisit dalam file robots.txt Anda tentang URL mana yang harus dihindari perayap dapat menghasilkan perayapan yang lebih efisien pada laman/konten yang ingin Anda indeks dan rangking.
- Pengalaman Pengguna yang Lebih Baik: Dengan sumber daya server yang berfokus pada tindakan pengguna sebenarnya dibandingkan serangan perayap yang sia-sia, pengguna akhir kemungkinan akan merasakan waktu pemuatan yang lebih cepat dan fungsionalitas yang lebih lancar.
- Tetap Sesuai dengan Standar: Menerapkan panduan ini akan membuat situs Anda mematuhi standar protokol robots.txt yang diadopsi secara luas, yang telah menjadi praktik terbaik industri selama beberapa dekade.
- Meninjau kembali arahan robots.txt bisa menjadi langkah sederhana namun berdampak bagi situs web yang ingin memberikan kontrol lebih besar terhadap aktivitas perayap.
Pesan Illyes menunjukkan bahwa aturan robots.txt
kuno tetap relevan di lingkungan web modern kita.
Artikel terkait dengan Blokir Google Crawler Dengan Robots.txt :
KOL (Key Opinion Leaders)