Apa itu Googlebot?
Googlebot adalah nama yang diberikan untuk perayap web Google yang mengumpulkan informasi untuk berbagai layanan Google, termasuk indeks pencarian mereka.
Ini memiliki dua versi utama: Googlebot Desktop dan Googlebot Smartphone. Dengan pengindeksan yang mengutamakan seluler, Googlebot Smartphone menjadi perayap utama yang mendukung indeks pencarian Google.
Jadi, bagaimana cara kerja Googlebot?
Googlebot secara konstan merayapi web untuk menemukan halaman baru, mengirimkan halaman untuk diproses untuk ditambahkan ke indeks pencarian, dan merayapi ulang halaman untuk mencari informasi baru/terbaru.
Selama proses ini, Googlebot secara ketat mengikuti aturan dalam file robots.txt dan arahan untuk perayap pada halaman dan tautan.
Mengapa Googlebot Penting?
Googlebot adalah salah satu alat utama yang menggerakkan seluruh mesin pencari Google. Tanpanya, seluruh pencarian (dan dengan demikian SEO) tidak akan ada. Jika Googlebot tidak merayapi situs web, situs web tersebut tidak akan diindeks dan terlihat di hasil pencarian.
Oleh karena itu, para profesional SEO dan webmaster perlu memahami cara kerja Googlebot. Selain itu, penting untuk memastikan crawler mengakses situs dengan benar tanpa masalah crawlability atau discoverability.
Praktik Terbaik untuk Situs Web yang Ramah Perayapan
Jika Anda ingin Googlebot merayapi situs web Anda dengan benar dan membuat halaman-halamannya terindeks, Anda harus memastikan beberapa hal sudah siap. Karena ini bukan kejadian sekali jadi, di bawah ini adalah beberapa praktik terbaik yang harus diikuti secara teratur untuk mempertahankan situs web yang ramah perayapan.
1. Periksa File Robots.txt Anda
File Robots.txt di situs web memungkinkan Anda untuk mengontrol apa yang dirayapi. File ini berkomunikasi dengan bot menggunakan arahan perayap.
Anda perlu memastikan bahwa file robots.txt Anda tidak melarang Googlebot untuk merayapi halaman/bagian situs web Anda yang ingin diindeks.
Selanjutnya, cari kesalahan apa pun dalam file tersebut menggunakan alat pengujian robots.txt.
Anda harus memastikan bahwa robots.txt dapat diakses oleh Googlebot, yaitu tidak diblokir di tingkat server.
2. Kirimkan Peta Situs
Mengirimkan peta situs adalah cara termudah untuk memberi tahu Google halaman mana yang ingin dirayapi dan diindeks.
Membuat peta situs tidaklah sulit jika Anda menggunakan plugin SEO populer di WordPress, seperti Yoast atau Rank Math. Plugin ini akan secara otomatis membuat peta situs untuk Anda, yang dapat Anda kirimkan.
URL yang dihasilkan akan terlihat seperti ini: yourdomainname.com/sitemap_index.html
Untuk mengirimkan URL sitemap secara manual, Anda perlu mengunjungi Google Search Console dan klik "Sitemap" di bawah bagian "Index" di menu utama.
3. Gunakan Arahan Perayap dengan Bijak
Selain file robots.txt, ada arahan tingkat halaman yang memberi tahu perayap halaman mana yang diizinkan (atau tidak diizinkan) untuk dirayapi.
Dengan demikian, Anda perlu memastikan bahwa halaman yang ingin diindeks tidak memiliki arahan "noindex". Demikian pula, pastikan bahwa halaman tersebut tidak memiliki arahan "nofollow" jika Anda ingin tautan keluarnya juga dirayapi.
Anda bisa menggunakan SEO Toolbar untuk Chrome dan Firefox untuk memeriksa arahan pada halaman Anda.
4. Menyediakan Tautan Internal Antar Halaman
Cara sederhana lain untuk membantu halaman diindeks lebih cepat adalah dengan menautkannya ke halaman lain yang sudah diindeks. Karena Googlebot merayapi ulang halaman, ia akan menemukan tautan internal dan merayapi dengan cepat.
Selain perayapan, tautan internal memberikan apa yang disebut "jus tautan" ke halaman, sehingga meningkatkan PageRank mereka.
5. Gunakan Audit Situs untuk Menemukan Masalah Kemampuan Merayapi dan Indeksabilitas
Terakhir, Anda bisa menggunakan alat bantu Site Audit untuk menemukan masalah yang berkaitan dengan indexability dan crawlability pada situs web Anda.
Audit Situs dapat membantu Anda menemukan halaman yang rusak, pengalihan yang berlebihan, rantai pengalihan, halaman tanpa indeks, tautan nofollow, halaman anak yatim (halaman yang tidak memiliki tautan internal), dan banyak lagi.
Anda dapat memantau kesehatan SEO situs web Anda secara gratis dengan alat bantu seperti Web Audit Ranktracker.
Pertanyaan Umum
Apakah merayapi dan mengindeks adalah hal yang sama?
Tidak, keduanya tidak sama. Perayapan berarti menemukan halaman dan tautan di web. Pengindeksan mengacu pada penyimpanan, analisis, dan pengaturan konten dan hubungan antar halaman yang ditemukan saat merayapi.
Hanya setelah halaman diindeks, halaman tersebut baru dapat ditampilkan sebagai hasil untuk kueri yang relevan.
Dapatkah saya memverifikasi apakah perayap web yang mengakses situs saya benar-benar Googlebot?
Jika Anda khawatir bahwa spammer atau pembuat masalah lainnya mungkin mengakses situs web Anda dan mengaku sebagai Googlebots, Anda dapat memverifikasi perayap untuk mengetahui apakah perayap tersebut benar-benar perayap Google.
Apa perayap utama untuk Googlebot?
Googlebot Smartphone adalah perayap utama saat ini.
Token agen pengguna: Googlebot
String agen pengguna lengkap: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, seperti Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (kompatibel; Googlebot/2.1; +http://www.google.com/bot.html)
Daftar lengkap perayap Googlebot dapat ditemukan di sini.
