Presupuesto de rastreo: por qué Google no indexa todas tus páginas

Un problema de SEO habitual y frustrante: publicas páginas, son buenas y, semanas después, Google todavía no ha indexado la mitad. Search Console las muestra como «descubierta, actualmente sin indexar» o «rastreada, actualmente sin indexar». El contenido está bien. El problema suele ser el presupuesto de rastreo, una de las partes menos comprendidas del SEO técnico.

Qué es realmente el presupuesto de rastreo

El presupuesto de rastreo es el número de páginas que Googlebot rastreará en un sitio dentro de un periodo determinado. Depende de dos factores: el límite de la tasa de rastreo (la velocidad a la que Google puede rastrear sin sobrecargar el servidor) y la demanda de rastreo (cuánto quiere Google rastrear el sitio, según la importancia y la frescura que percibe).

Para un sitio pequeño de unos cientos de páginas, el presupuesto de rastreo rara vez es un problema. Para un sitio grande, una tienda de comercio electrónico con miles de productos o cualquier sitio que genere muchas variaciones de URL, el presupuesto de rastreo se convierte en una restricción real. Google sencillamente no rastrea cada página con la frecuencia suficiente.

Los mayores desperdiciadores de presupuesto de rastreo

• Navegación por facetas. Parámetros de filtro y orden que generan miles de URL casi duplicadas. Googlebot las rastrea todas y agota el presupuesto en URL que nunca deberían indexarse.
• Cadenas de redirecciones. Cada salto de una cadena de redirecciones es un rastreo. Una cadena de tres redirecciones cuesta el triple de presupuesto de rastreo que un enlace directo.
• Errores 404 blandos y páginas de error. Las páginas que devuelven un estado 200 pero no muestran contenido real desperdician presupuesto de rastreo y confunden a Google sobre la calidad del sitio.
• Espacios infinitos. Calendarios, archivos paginados sin fin, parámetros de ID de sesión. Generan URL de bajo valor prácticamente ilimitadas por las que Googlebot deambula.
• Respuesta lenta del servidor. Si el servidor es lento, Google rastrea menos páginas por sesión para no sobrecargarlo. La velocidad del sitio es un factor de presupuesto de rastreo, no solo de posicionamiento.

Cómo recuperar presupuesto de rastreo

La estrategia consiste en dirigir a Googlebot hacia las páginas que importan y alejarlo de las que no. Usa robots.txt para bloquear el rastreo de las URL basadas en parámetros que nunca deberían indexarse. Usa etiquetas canónicas para consolidar las URL duplicadas. Corrige las cadenas de redirecciones para que cada redirección lleve directamente al destino final. Devuelve códigos de estado 404 o 410 correctos para las páginas realmente muertas. Mantén limpio el sitemap XML, incluyendo solo las páginas que quieres que se rastreen e indexen.

El enlazado interno también dirige el presupuesto de rastreo. Las páginas bien enlazadas internamente se rastrean más. Las páginas huérfanas se rastrean rara vez o nunca. Una estructura sólida de enlazado interno guía de forma natural a Googlebot hacia las páginas importantes.

Cómo diagnosticar un problema de presupuesto de rastreo

El informe de estadísticas de rastreo de Search Console muestra cuántas páginas rastrea Google al día, el tiempo medio de respuesta y el desglose de lo que se está rastreando. Si una gran parte de la actividad de rastreo se destina a URL con parámetros, redirecciones o páginas de error, ese es presupuesto desperdiciado.

El informe de cobertura del índice muestra la diferencia entre las páginas enviadas y las indexadas. Un recuento elevado de «descubierta, actualmente sin indexar» en un sitio grande es una señal clara de presupuesto de rastreo.

Cuándo el presupuesto de rastreo no es el problema

A veces, «rastreada, actualmente sin indexar» no es en absoluto un problema de presupuesto. Es un problema de calidad. Google rastreó la página, la evaluó y decidió que no merecía la pena indexarla. Si un sitio pequeño sin restricciones de presupuesto de rastreo tiene páginas que no se indexan, la solución suele ser mejorar esas páginas, no ajustar las directivas de rastreo.

Distinguir un problema de presupuesto de rastreo de un problema de calidad del contenido es el primer paso del diagnóstico, y equivocarse hace perder esfuerzo en la solución incorrecta.

A quién le debe importar

El presupuesto de rastreo preocupa sobre todo a los sitios grandes: tiendas de comercio electrónico, sitios de noticias, grandes empresas de servicios, cualquier cosa con miles de URL. Los sitios corporativos de pocas páginas rara vez necesitan pensar en ello. Pero para los sitios que sí tienen un problema de presupuesto de rastreo, suele ser la mayor razón por la que el buen contenido no se está indexando.

La optimización del presupuesto de rastreo pertenece de lleno al SEO técnico y requiere a alguien capaz de leer con precisión los registros de rastreo y los datos de Search Console. El equipo de SEO técnico de Defyn gestiona el presupuesto de rastreo como parte de sus auditorías técnicas. Si Google no indexa tus páginas y no sabes por qué, una auditoría diagnosticará si se trata de un problema de presupuesto de rastreo o de otra cosa.