Apa yang dimaksud dengan Crawler?
Perayap adalah program internet yang dirancang untuk menjelajahi internet secara sistematis. Perayap paling sering digunakan sebagai sarana bagi mesin pencari untuk menemukan dan memproses halaman untuk diindeks dan menampilkannya dalam hasil pencarian.
Selain perayap yang memproses HTML, beberapa perayap khusus juga digunakan untuk mengindeks gambar dan video.
Di dunia nyata, perayap web utama yang perlu diketahui adalah yang digunakan oleh mesin pencari top dunia: Googlebot, Bingbot, Yandex Bot, dan Baidu Spider.
Perayap Baik vs Perayap Buruk
Bayangkan perayap yang baik sebagai bot yang dapat membantu situs Anda, terutama dengan menambahkan konten Anda ke indeks pencarian atau dengan membantu Anda mengaudit situs web Anda. Ciri-ciri lain dari perayap yang baik adalah ia mengidentifikasi dirinya sendiri, mengikuti arahan Anda, dan menyesuaikan kecepatan perayapannya agar tidak membebani server Anda secara berlebihan.
Perayap yang buruk adalah bot yang tidak memberikan nilai tambah bagi pemilik situs web dan mungkin memiliki niat jahat. Perayap yang buruk mungkin gagal mengidentifikasi diri mereka sendiri, menghindari arahan Anda, membuat beban yang tidak perlu pada server, dan bahkan mencuri konten dan data.
Jenis-jenis Perayap
Ada dua jenis utama crawler:
- Bot perayapan konstan: Bot ini melakukan perayapan 24/7 untuk menemukan halaman baru dan menggambar ulang halaman lama (misalnya, Googlebot).
- Bot sesuai permintaan: Bot ini akan merayapi sejumlah halaman dan melakukan perayapan hanya jika diminta (misalnya, bot Audit Situs Ranktracker).
Mengapa Perayapan Situs Web Penting?
Tujuan utama crawler mesin pencari adalah untuk mengetahui apa yang ada di situs web Anda dan menambahkan informasi ini ke indeks pencarian. Jika situs Anda tidak dirayapi, maka konten Anda tidak akan muncul di hasil pencarian.
Perayapan situs web bukan hanya peristiwa satu kali - ini adalah praktik berkelanjutan untuk situs web aktif. Bot akan secara teratur menjelajahi situs web untuk menemukan dan menambahkan halaman baru ke indeks pencarian, sekaligus memperbarui informasi tentang halaman yang sudah ada.
Meskipun sebagian besar perayap dikaitkan dengan mesin pencari, ada jenis perayap lain di luar sana. Sebagai contoh, bot Ranktracker Site Audit dapat membantu Anda melihat apa yang salah dengan situs web Anda dalam hal SEO.
Bagaimana Cara Kerja Crawler?
Singkatnya, perayap web seperti Googlebot akan menemukan URL di situs web Anda melalui peta situs, tautan, dan pengiriman manual melalui Google Search Console. Kemudian akan mengikuti tautan "diizinkan" pada halaman-halaman tersebut.
Hal ini dilakukan dengan tetap menghormati aturan robots.txt, serta atribut "nofollow" pada tautan dan halaman individual.
Beberapa situs web - situs web dengan lebih dari 1 juta halaman yang diperbarui secara teratur atau situs web dengan 10 ribu halaman konten yang berubah setiap hari - mungkin memiliki "anggaran perayapan" yang terbatas. Ini mengacu pada jumlah waktu dan sumber daya yang dapat dicurahkan oleh bot ke situs web dalam satu sesi.
Prioritas Perayapan
Karena kapasitas anggaran perayapan yang terbatas, perayap beroperasi dengan serangkaian prioritas perayapan. Googlebot, misalnya, mempertimbangkan hal-hal berikut ini:
- PageRank dari URL
- Seberapa sering halaman diperbarui
- Apakah halaman tersebut baru atau tidak
Dengan cara ini, perayap dapat fokus merayapi halaman-halaman terpenting di situs Anda terlebih dahulu.
Versi Perayap Seluler vs Desktop
Googlebot memiliki dua versi utama: Googlebot Desktop dan Googlebot Smartphone. Saat ini, Google menggunakan pengindeksan mobile-first, yang berarti bahwa agen ponsel cerdasnya adalah Googlebot utama yang digunakan untuk merayapi dan mengindeks halaman.
Versi yang berbeda dari sebuah situs web dapat disajikan ke berbagai jenis perayap ini. Secara teknis, bot mengidentifikasi dirinya sendiri ke server web menggunakan tajuk permintaan HTTP User-Agent, bersama dengan pengenal unik.
Praktik Terbaik untuk Situs Web yang Ramah Perayapan
Untuk memastikan bahwa situs web Anda siap dirayapi, ada beberapa langkah yang kami rekomendasikan. Ikuti langkah-langkah tersebut untuk memberikan halaman utama Anda peluang terbaik dalam pengindeksan dan pemeringkatan.
1. Periksa File Robots.txt Anda
File robots.txt adalah file di situs web Anda yang berkomunikasi dengan bot tersebut, menggunakan serangkaian arahan perayap. Pastikan file tersebut tidak melarang bot yang baik dari halaman atau bagian mana pun yang ingin diindeks. Gunakan alat bantu seperti penguji robots.txt Google untuk memeriksa kesalahan.
2. Kirim Peta Situs
Mengirimkan peta situs Anda adalah langkah penting. Sitemap berisi daftar semua halaman situs web yang ingin diindeks. Di Google Search Console, Anda dapat mengirimkan peta situs di bagian Index > Sitemap. Proses ini serupa untuk mesin pencari lain, seperti Bing Webmaster Tools.
3. Gunakan Arahan Perayap dengan Bijak
File robots.txt menggunakan arahan untuk memberi tahu perayap halaman mana yang diizinkan atau tidak diizinkan untuk dirayapi. Penting untuk mengizinkan halaman-halaman penting dalam navigasi situs Anda untuk dirayapi. Arahan tingkat halaman apa pun tidak akan terlihat jika konten tidak diizinkan untuk dirayapi di file robots.txt Anda.
4. Menyediakan Tautan Internal Antar Halaman
Tautan internal membantu mesin pencari memahami isi setiap halaman dan membantu perayap menemukan halaman sejak awal. Tautan internal juga membantu Anda membentuk bagaimana PageRank mengalir di seluruh situs Anda.
5. Kurangi 4xx dan Pengalihan yang Tidak Perlu
Kesalahan 4xx memberi sinyal kepada perayap bahwa konten di URL tersebut tidak ada. Gunakan alat bantu seperti Audit Situs Ranktracker untuk memperbaiki halaman-halaman ini atau menyiapkan pengalihan ke halaman langsung. Selain itu, hilangkan pengalihan yang tidak perlu dan rantai pengalihan untuk memastikan perayapan yang lancar.
6. Gunakan Audit Situs Ranktracker untuk Menemukan Masalah Kemampuan Merayapi dan Indeksabilitas
Alat Audit Situs Ranktracker dapat membantu dengan memeriksa semua halaman yang tidak terindeks dan tautan yang tidak diikuti di situs Anda. Alat ini dapat menemukan halaman yang rusak atau pengalihan yang berlebihan, termasuk rantai pengalihan atau loop, dan menunjukkan halaman yatim piatu.
Pertanyaan Umum
Apakah Perayapan dan Pengindeksan adalah Hal yang Sama?
Tidak. Perayapan mengacu pada proses menemukan halaman web yang dapat diakses publik dan konten lainnya. Pengindeksan mengacu pada mesin pencari yang menganalisis halaman-halaman ini dan menyimpannya dalam indeks pencarian mereka.
Apa Saja Perayap yang Paling Aktif?
Perayap mesin pencari yang paling populer termasuk Googlebot, Bingbot, Yandex Bot, dan Baidu Spider. Untuk lebih jelasnya, lihat studi Lalu Lintas Bot Imperva ini. Menariknya, AhrefsBot, yang mendukung seluruh basis data tautan, ditemukan sebagai perayap paling aktif kedua setelah Googlebot.
Apakah Perayap Merusak Situs Web Saya?
Meskipun sebagian besar perayap tidak membahayakan situs web Anda, ada perayap jahat yang bisa membahayakan. Perayap yang berbahaya dapat menghabiskan bandwidth Anda, menyebabkan halaman melambat, dan mungkin mencoba mencuri data atau mengikis konten dari situs Anda.
