Che cos'è il Crawl Budget?
Il crawl budget è la quantità di tempo e risorse che un motore di ricerca assegna per il crawling di un determinato sito web. In altre parole, è il numero massimo di pagine che un motore di ricerca può scansionare sul vostro sito entro un determinato periodo di tempo. Il crawl budget può variare a seconda dei motori di ricerca (o crawler).
Google afferma che non ci si deve preoccupare del crawl budget a meno che:
- Il vostro sito ha oltre 1 milione di pagine uniche con contenuti che cambiano circa una volta alla settimana.
- Avete un sito web di medie dimensioni (circa 10k pagine) e modificate i contenuti frequentemente (quotidianamente).
- Lei gestisce un sito web di notizie.
- Search Console classifica la maggior parte degli URL del sito come "Scoperto - attualmente non indicizzato".
Ogni sito web riceve un budget di crawl diverso in base a due fattori principali:
- Crawl Demand: Definita dal numero di pagine, dalla frequenza di pubblicazione/aggiornamento e dalla popolarità delle pagine.
- Limite della velocità di crawl: dipende dalle capacità del server, dal limite di crawl impostato dal proprietario del sito in Search Console, dal limite di crawling del motore di ricerca e dalle regolazioni automatiche di Google in base ai tempi di risposta del server.
Perché il Crawl Budget è importante?
Il crawl budget è importante perché influisce sul numero di pagine che Googlebot può scansionare sul vostro sito e sulla frequenza con cui Googlebot può ricansionare le vostre pagine web per aggiornare il suo indice. Google dispone di enormi risorse, ma non può effettuare il crawling (e il recrawling regolare) di tutte le pagine di Internet. Di conseguenza, Google assegna un budget di crawl ai siti web.
Per garantire che il budget per il crawling non venga sprecato per pagine non importanti, concentratevi sull'ottimizzazione dell'efficienza del crawl del vostro sito web.
Come aumentare il Crawl Budget?
1. Velocizzare il server e ridurre i tempi di caricamento delle pagine
Il tempo di risposta del server e la velocità di caricamento delle pagine influiscono direttamente sul crawling. Quando Googlebot effettua il crawling del vostro sito, prima scarica le risorse e poi le elabora. Se il vostro server risponde rapidamente, Googlebot può scansionare un maggior numero di pagine del vostro sito.
- Utilizzate un servizio di web hosting veloce e affidabile e una Content Delivery Network (CDN) per migliorare i tempi di risposta iniziale del server.
- Riducete i tempi di caricamento delle pagine impedendo il crawling di risorse grandi ma non critiche utilizzando robots.txt, evitando lunghe catene di reindirizzamento e rimuovendo temi e plugin pesanti e mal codificati.
2. Aggiungere altri link
Il numero di link a una pagina indica la sua importanza per Google. Googlebot dà la priorità alle pagine con più backlink e link interni. Aumentate il vostro crawl budget aggiungendo più link esterni e interni alle vostre pagine.
- Per i suggerimenti sui collegamenti interni, verificate il vostro sito web con strumenti come Site Audit di Ranktracker.
3. Correggere i collegamenti interrotti e ridurre i reindirizzamenti
Troppi link interni non funzionanti (codici di risposta 404 o 410) e URL reindirizzati (3xx) possono sprecare il budget di crawl del vostro sito. Risolvete i link interrotti e i reindirizzamenti non necessari per ottimizzare il vostro budget di crawl.
- Utilizzate strumenti come il Site Audit di Ranktracker per trovare gli URL interrotti e reindirizzati sul vostro sito.
4. Utilizzare l'API di indicizzazione se possibile
L'API di indicizzazione consente di notificare direttamente a Google ogni volta che si aggiungono, rimuovono o aggiornano le pagine del sito. In questo modo, le vostre pagine vengono carrellate più velocemente.
- Nota: l'API di indicizzazione è attualmente disponibile per casi d'uso specifici, come video in diretta e annunci di lavoro.
Domande frequenti
Googlebot rispetta il Crawl-Delay in Robots.txt?
No, Googlebot non rispetta le impostazioni di crawl-delay applicate in un file robots.txt.
Quando è necessario preoccuparsi del Crawl Budget?
Dovreste preoccuparvi del crawl budget se gestite un sito molto grande (più di 1 milione di pagine) o un sito di medie dimensioni con modifiche molto frequenti (giornaliere) dei contenuti. La maggior parte dei siti non ha bisogno di preoccuparsi del crawl budget.
Come posso controllare il Crawl Budget del mio sito web?
Il numero esatto del crawl budget non si trova da nessuna parte. Tuttavia, è possibile controllare la panoramica dell'attività di crawl di Google nel rapporto Crawl Stats di Google Search Console.
Per ulteriori approfondimenti sul miglioramento della SEO e dell'efficienza di crawl del vostro sito web, visitate il blog di Ranktracker ed esplorate la nostra guida SEO completa. Inoltre, per familiarizzare con i termini e i concetti chiave della SEO, consultate il nostro Glossario SEO.
