Un problema SEO comune e frustrante: pubblichi delle pagine, sono valide e settimane dopo Google non ne ha ancora indicizzata la met\u00e0. Search Console le mostra come \u00abrilevata, attualmente non indicizzata\u00bb o \u00abscansionata, attualmente non indicizzata\u00bb. Il contenuto va bene. Il problema \u00e8 spesso il crawl budget, una delle parti meno comprese della SEO tecnica.<\/p>
Il crawl budget \u00e8 il numero di pagine che Googlebot scansiona su un sito entro un determinato periodo. Dipende da due fattori: il limite della frequenza di scansione (la velocit\u00e0 con cui Google pu\u00f2 scansionare senza sovraccaricare il server) e la domanda di scansione (quanto Google vuole scansionare il sito, in base all’importanza e all’aggiornamento che gli attribuisce).<\/p>
Per un sito piccolo di qualche centinaio di pagine, il crawl budget raramente \u00e8 un problema. Per un sito grande, un negozio e-commerce con migliaia di prodotti o qualsiasi sito che generi molte varianti di URL, il crawl budget diventa un vincolo reale. Google semplicemente non scansiona ogni pagina con sufficiente frequenza.<\/p>
La strategia consiste nell’indirizzare Googlebot verso le pagine che contano e allontanarlo da quelle che non contano. Usa il file robots.txt per bloccare la scansione delle URL basate su parametri che non dovrebbero mai essere indicizzate. Usa i tag canonici per consolidare le URL duplicate. Correggi le catene di reindirizzamenti in modo che ogni reindirizzamento porti direttamente alla destinazione finale. Restituisci codici di stato 404 o 410 corretti per le pagine realmente morte. Mantieni pulita la sitemap XML, elencando solo le pagine che vuoi far scansionare e indicizzare.<\/p>
Anche i link interni indirizzano il crawl budget. Le pagine ben collegate internamente vengono scansionate pi\u00f9 spesso. Le pagine orfane vengono scansionate raramente o mai. Una solida struttura di link interni guida in modo naturale Googlebot verso le pagine importanti.<\/p>
Il rapporto sulle statistiche di scansione di Search Console mostra quante pagine Google scansiona al giorno, il tempo di risposta medio e la ripartizione di ci\u00f2 che viene scansionato. Se gran parte dell’attivit\u00e0 di scansione va a URL con parametri, reindirizzamenti o pagine di errore, quello \u00e8 budget sprecato.<\/p>
Il rapporto sulla copertura dell’indice mostra il divario tra le pagine inviate e quelle indicizzate. Un numero elevato di \u00abrilevata, attualmente non indicizzata\u00bb su un sito grande \u00e8 un chiaro segnale di crawl budget.<\/p>
A volte \u00abscansionata, attualmente non indicizzata\u00bb non \u00e8 affatto un problema di budget. \u00c8 un problema di qualit\u00e0. Google ha scansionato la pagina, l’ha valutata e ha deciso che non valeva la pena indicizzarla. Se un sito piccolo senza vincoli di crawl budget ha pagine che non si indicizzano, la soluzione \u00e8 di solito migliorare quelle pagine, non modificare le direttive di scansione.<\/p>
Distinguere un problema di crawl budget da un problema di qualit\u00e0 del contenuto \u00e8 il primo passo della diagnosi, e sbagliare significa sprecare energie sulla soluzione sbagliata.<\/p>
Il crawl budget riguarda soprattutto i siti grandi: negozi e-commerce, siti di notizie, grandi aziende di servizi, qualsiasi cosa con migliaia di URL. I siti vetrina di poche pagine raramente devono preoccuparsene. Ma per i siti che hanno davvero un problema di crawl budget, \u00e8 spesso il motivo principale per cui un buon contenuto non viene indicizzato.<\/p>