Che cos'è la crawlability?
La crawlabilità è la capacità di un crawler dei motori di ricerca, come Googlebot, di accedere alle pagine e alle risorse di un sito web. I problemi di crawlability possono influire negativamente sulle classifiche di ricerca organica di un sito web. È essenziale distinguere la crawlability dall'indexability. Quest'ultima si riferisce alla capacità di un motore di ricerca di analizzare una pagina e aggiungerla al proprio indice. Solo le pagine crawlabili e indicizzabili possono essere scoperte e indicizzate da Google, il che significa che possono apparire nei risultati del motore di ricerca.
Perché la crawlability è importante?
La crawlabilità è fondamentale per qualsiasi sito web destinato a ricevere traffico di ricerca organico. La crawlabilità consente ai motori di ricerca di strisciare le pagine per leggerne e analizzarne il contenuto in modo da poterlo aggiungere all'indice di ricerca. Una pagina non può essere indicizzata correttamente senza crawling. Sebbene Google possa a volte indicizzare un URL senza effettuare il crawling in base al testo dell'URL e al testo di ancoraggio dei backlink, il titolo e la descrizione della pagina non verranno visualizzati nella SERP.
La crawlabilità non è importante solo per Google. Anche altri crawler specifici devono effettuare il crawling delle pagine web per vari motivi. Ad esempio, il bot Site Audit di Ranktracker effettua il crawling delle pagine web per verificare la salute SEO e segnalare eventuali problemi SEO.
Cosa influisce sulla crawlabilità di un sito web?
1. Scopribilità della pagina
Prima di effettuare il crawling di una pagina web, un crawler deve prima scoprirla. Le pagine web che non sono presenti nella sitemap o che non hanno collegamenti interni (note come pagine orfane) non possono essere trovate dal crawler e, pertanto, non possono essere carrellate o indicizzate. Se si desidera che una pagina venga indicizzata, è necessario che sia inclusa nella sitemap e che abbia collegamenti interni (idealmente entrambi).
2. Link Nofollow
Googlebot non segue i link con l'attributo "rel=nofollow". Se una pagina ha, ad esempio, un solo link nofollow, è come se non avesse alcun link in termini di crawling.
3. File Robots.txt
Un file robots.txt indica ai web crawler quali parti del vostro sito possono o non possono accedere. Se si desidera che la pagina sia crawlabile, non deve essere disabilitata nel file robots.txt.
4. Limitazioni di accesso
Le pagine web possono avere restrizioni specifiche che impediscono ai crawler di raggiungerle, ad esempio:
- Un qualche tipo di sistema di login
- Lista nera di agenti utente
- Lista nera di indirizzi IP
Come trovare i problemi di crawlability sul vostro sito web
Il modo più semplice per individuare i problemi di crawlability di un sito web è utilizzare uno strumento SEO come Site Audit di Ranktracker o gli Strumenti per i Webmaster gratuiti di Ranktracker.
Ranktracker Webmaster Tools è in grado di eseguire il crawling dell'intero sito web, tenendo traccia dei problemi nuovi o ricorrenti nel tempo. Inoltre, suddivide i problemi in diverse categorie, aiutandovi a comprendere meglio le prestazioni SEO complessive del vostro sito e i motivi per cui non è possibile effettuare il crawling.
Domande frequenti
Qual è la differenza tra crawlability e indexability?
La crawlabilità è la capacità di un motore di ricerca di accedere a una pagina web e di scansionarne il contenuto. L'indicizzabilità è la capacità di un motore di ricerca di analizzare il contenuto che scansiona per aggiungerlo al proprio indice. Una pagina può essere crawlabile ma non indicizzabile.
È possibile indicizzare una pagina web su Google senza effettuare il crawling?
Sorprendentemente, Google può indicizzare un URL senza effettuare il crawling, permettendogli di apparire nei risultati di ricerca. Tuttavia, si tratta di un'eventualità rara. Quando ciò accade, Google utilizza il testo di ancoraggio e il testo dell'URL per determinare lo scopo e il contenuto della pagina. Si noti che in questo caso Google non mostrerà il titolo della pagina. Questa situazione è spiegata brevemente nell'Introduzione a robots.txt di Google.
Per ulteriori approfondimenti sul miglioramento della SEO del vostro sito web e sulla garanzia di una corretta crawlabilità, visitate il blog di Ranktracker ed esplorate la nostra guida SEO completa. Inoltre, per familiarizzare con i termini e i concetti chiave della SEO, consultate il nostro Glossario SEO.
