Τι είναι ο προϋπολογισμός Crawl;
Ο προϋπολογισμός ανίχνευσης είναι το ποσό του χρόνου και των πόρων που αναθέτει μια μηχανή αναζήτησης για την ανίχνευση ενός συγκεκριμένου ιστότοπου. Με άλλα λόγια, είναι ο μέγιστος αριθμός σελίδων που μπορεί να ανιχνεύσει μια μηχανή αναζήτησης στον ιστότοπό σας μέσα σε ένα συγκεκριμένο χρονικό διάστημα. Ο προϋπολογισμός ανίχνευσης μπορεί να διαφέρει για διαφορετικές μηχανές αναζήτησης (ή ανιχνευτές).
Η Google δηλώνει ότι δεν πρέπει να ανησυχείτε για τον προϋπολογισμό ανίχνευσης εκτός εάν:
- Ο ιστότοπός σας έχει πάνω από 1 εκατομμύριο μοναδικές σελίδες με περιεχόμενο που αλλάζει περίπου μία φορά την εβδομάδα.
- Έχετε έναν μεσαίου μεγέθους ιστότοπο (περίπου 10 χιλιάδες σελίδες) και αλλάζετε συχνά (καθημερινά) το περιεχόμενό του.
- Διαχειρίζεστε έναν ειδησεογραφικό ιστότοπο.
- Το Search Console κατατάσσει την πλειονότητα των διευθύνσεων URL του ιστότοπού σας ως "Ανακαλύφθηκε - προς το παρόν δεν ευρετηριάζεται".
Κάθε ιστότοπος λαμβάνει διαφορετικό προϋπολογισμό ανίχνευσης με βάση δύο βασικούς παράγοντες:
- Ζήτηση ερπυσμού: Ορίζεται από τον αριθμό των σελίδων, τη συχνότητα δημοσίευσης/ενημέρωσης και τη δημοτικότητα των σελίδων.
- Όριο ρυθμού ανίχνευσης: Επηρεάζεται από τις δυνατότητες του διακομιστή, το όριο ανίχνευσης που έχει οριστεί από τον ιδιοκτήτη του ιστότοπου στην Search Console, το όριο ανίχνευσης της μηχανής αναζήτησης και τις αυτόματες προσαρμογές από την Google με βάση τους χρόνους απόκρισης του διακομιστή.
Γιατί είναι σημαντικός ο προϋπολογισμός ερπυσμού;
Ο προϋπολογισμός ανίχνευσης είναι σημαντικός επει δή επηρεάζει το πόσες σελίδες μπορεί να ανιχνεύσει το Googlebot στον ιστότοπό σας και πόσο συχνά το Googlebot μπορεί να ανιχνεύσει εκ νέου τις ιστοσελίδες σας για να ενημερώσει το ευρετήριό του. Η Google διαθέτει τεράστιους πόρους, ωστόσο δεν μπορεί να ανιχνεύσει (και να ανιχνεύει τακτικά εκ νέου) όλες τις σελίδες του Διαδικτύου. Ως αποτέλεσμα, η Google κατανέμει έναν προϋπολογισμό ανίχνευσης στις ιστοσελίδες.
Για να διασφαλίσετε ότι ο προϋπολογισμός σας για την ανίχνευση δεν σπαταλιέται σε ασήμαντες σελίδες, επικεντρωθείτε στη βελτιστοποίηση της αποτελεσματικότητας της ανίχνευσης του ιστότοπού σας.
Πώς να αυξήσετε τον προϋπολογισμό Crawl;
1. Επιταχύνετε τον διακομιστή σας και μειώστε τους χρόνους φόρτωσης της σελίδας
Ο χρόνος απόκρισης του διακομιστή και η ταχύτητα φόρτωσης της σελίδας επηρεάζουν άμεσα την ανίχνευση. Όταν το Googlebot ανιχνεύει τον ιστότοπό σας, κατεβάζει πρώτα τους πόρους και στη συνέχεια τους επεξεργάζεται. Εάν ο διακομιστής σας ανταποκρίνεται γρήγορα, το Googlebot μπορεί να ανιχνεύσει περισσότερες σελίδες στον ιστότοπό σας.
- Χρησιμοποιήστε μια γρήγορη και αξιόπιστη υπηρεσία φιλοξενίας ιστοσελίδων και ένα δίκτυο παράδοσης περιεχομένου (CDN) για να βελτιώσετε τον αρχικό χρόνο απόκρισης του διακομιστή.
- Μειώστε τους χρόνους φόρτωσης της σελίδας αποτρέποντας την ανίχνευση μεγάλων αλλά μη κρίσιμων πόρων με τη χρήση του robots.txt, αποφεύγοντας μεγάλες αλυσίδες ανακατευθύνσεων και αφαιρώντας βαριά και κακοκωδικοποιημένα θέματα και πρόσθετα.
2. Προσθήκη περισσότερων συνδέσμων
Ο αριθμός των συνδέσμων προς μια σελίδα υποδηλώνει τη σημασία της για τη Google. Το Googlebot δίνει προτεραιότητα στην ανίχνευση σελίδων με περισσότερους backlinks και εσωτερικούς συνδέσμους. Αυξήστε τον προϋπολογισμό σας για την ανίχνευση προσθέτοντας περισσότερους εξωτερικούς και εσωτερικούς συνδέσμους στις σελίδες σας.
- Για προτάσεις εσωτερικής διασύνδεσης, ελέγξτε τον ιστότοπό σας με εργαλεία όπως το Site Audit του Ranktracker.
3. Διορθώστε τους σπασμένους συνδέσμους και μειώστε τις ανακατευθύνσεις
Οι πολλοί σπασμένοι εσωτερικοί σύνδεσμοι (κωδικοί απόκρισης 404 ή 410) και οι ανακατευθυνόμενες διευθύνσεις URL (3xx) μπορούν να σπαταλήσουν τον προϋπολογισμό για την ανίχνευση του ιστότοπού σας. Διορθώστε τους σπασμένους συνδέσμους και τις περιττές ανακατευθύνσεις για να βελτιστοποιήσετε τον προϋπολογισμό σας για την ανίχνευση.
- Χρησιμοποιήστε εργαλεία όπως το Site Audit του Ranktracker για να βρείτε σπασμένες και ανακατευθυνόμενες διευθύνσεις URL στον ιστότοπό σας.
4. Χρησιμοποιήστε το API ευρετηρίασης αν είναι δυνατόν
Το API ευρετηρίασης σάς επιτρέπει να ενημερώνετε απευθείας την Google κάθε φορά που προσθέτετε, αφαιρείτε ή ενημερώνετε σελίδες στον ιστότοπό σας. Αυτό συμβάλλει στην ταχύτερη ανίχνευση των σελίδων σας.
- Σημείωση: Το API ευρετηρίασης είναι επί του παρόντος διαθέσιμο για συγκεκριμένες περιπτώσεις χρήσης, όπως ζωντανά βίντεο και δημοσιεύσεις θέσεων εργασίας.
Συχνές ερωτήσεις
Το Googlebot σέβεται την καθυστέρηση σύρσης στο Robots.txt;
Όχι, το Googlebot δεν σέβεται τις ρυθμίσεις καθυστέρησης ανίχνευσης που εφαρμόζονται σε ένα αρχείο robots.txt.
Πότε θα πρέπει να ενδιαφέρεστε για τον προϋπολογισμό του Crawl;
Θα πρέπει να ενδιαφέρεστε για τον προϋπολογισμό της ανίχνευσης αν διαχειρίζεστε έναν πολύ μεγάλο ιστότοπο (πάνω από 1 εκα τομμύριο σελίδες) ή έναν ιστότοπο μεσαίου μεγέθους με πολύ συχνές (καθημερινές) αλλαγές στο περιεχόμενο. Οι περισσότεροι ιστότοποι δεν χρειάζεται να ανησυχούν για τον προϋπολογισμό ανίχνευσης.
Πώς μπορώ να ελέγξω τον προϋπολογισμό Crawl για τον ιστότοπό μου;
Δεν θα βρείτε πουθενά τον ακριβή αριθμό για τον προϋπολογισμό της ερπυστριοφόρου ζώνης. Ωστόσο, μπορείτε να ελέγξετε την επισκόπηση της δραστηριότητας ανίχνευσης της Google στην αναφορά Crawl Stats στην Google Search Console.
Για περισσότερες πληροφορίες σχετικά με τη βελτίωση του SEO και της αποτελεσματικότητας του ιστότοπού σας, επισκεφθείτε το Ranktracker Blog και εξερευνήστε τον αναλυτικό οδηγό SEO. Επιπλέον, εξοικειωθείτε με βασικούς όρους και έννοιες SEO στο Γλωσσάριο SEO μας.
