Ein häufiges und frustrierendes SEO-Problem: Sie veröffentlichen Seiten, sie sind gut, und Wochen später hat Google immer noch die Hälfte nicht indexiert. Die Search Console zeigt sie als „Erkannt – zurzeit nicht indexiert“ oder „Gecrawlt – zurzeit nicht indexiert“ an. Der Inhalt ist in Ordnung. Das Problem ist oft das Crawl-Budget, einer der am wenigsten verstandenen Bereiche des technischen SEO.
Was das Crawl-Budget wirklich ist
Das Crawl-Budget ist die Anzahl der Seiten, die der Googlebot innerhalb eines bestimmten Zeitraums auf einer Website crawlt. Es ergibt sich aus zwei Faktoren: dem Crawl-Rate-Limit (wie schnell Google crawlen kann, ohne den Server zu überlasten) und der Crawl-Nachfrage (wie sehr Google die Website crawlen möchte, basierend auf ihrer wahrgenommenen Wichtigkeit und Aktualität).
Für eine kleine Website mit ein paar hundert Seiten ist das Crawl-Budget selten ein Problem. Für eine große Website, einen Onlineshop mit Tausenden von Produkten oder jede Website, die viele URL-Varianten erzeugt, wird das Crawl-Budget zu einer echten Einschränkung. Google crawlt schlichtweg nicht jede Seite oft genug.
Die größten Crawl-Budget-Verschwender
- Facettennavigation. Filter- und Sortierparameter erzeugen Tausende nahezu identischer URLs. Der Googlebot crawlt sie alle und verbraucht das Budget für URLs, die niemals indexiert werden sollten.
- Weiterleitungsketten. Jeder Sprung in einer Weiterleitungskette ist ein Crawl. Eine Kette aus drei Weiterleitungen kostet dreimal so viel Crawl-Budget wie ein direkter Link.
- Soft-404s und Fehlerseiten. Seiten, die den Status 200 zurückgeben, aber keinen echten Inhalt zeigen, verschwenden Crawl-Budget und verwirren Google hinsichtlich der Qualität der Website.
- Unendliche Räume. Kalender, endlos paginierte Archive, Session-ID-Parameter. Sie erzeugen praktisch unbegrenzt viele URLs von geringem Wert, durch die der Googlebot wandert.
- Langsame Serverantwort. Ist der Server langsam, crawlt Google weniger Seiten pro Sitzung, um ihn nicht zu überlasten. Die Geschwindigkeit der Website ist ein Crawl-Budget-Faktor, nicht nur ein Ranking-Faktor.
Wie Sie Crawl-Budget zurückgewinnen
Die Strategie besteht darin, den Googlebot auf die Seiten zu lenken, die wichtig sind, und von denen wegzuführen, die es nicht sind. Nutzen Sie die robots.txt, um das Crawlen parameterbasierter URLs zu blockieren, die niemals indexiert werden sollten. Nutzen Sie Canonical-Tags, um doppelte URLs zusammenzuführen. Beheben Sie Weiterleitungsketten, sodass jede Weiterleitung direkt zum endgültigen Ziel führt. Geben Sie für tatsächlich tote Seiten korrekte 404- oder 410-Statuscodes zurück. Halten Sie die XML-Sitemap sauber und listen Sie nur die Seiten auf, die gecrawlt und indexiert werden sollen.
Auch die interne Verlinkung steuert das Crawl-Budget. Intern gut verlinkte Seiten werden häufiger gecrawlt. Verwaiste Seiten werden selten oder nie gecrawlt. Eine starke interne Verlinkungsstruktur führt den Googlebot ganz natürlich zu den wichtigen Seiten.
Wie Sie ein Crawl-Budget-Problem diagnostizieren
Der Bericht zu den Crawling-Statistiken in der Search Console zeigt, wie viele Seiten Google pro Tag crawlt, die durchschnittliche Antwortzeit und die Aufschlüsselung dessen, was gecrawlt wird. Geht ein großer Teil der Crawl-Aktivität an Parameter-URLs, Weiterleitungen oder Fehlerseiten, ist das verschwendetes Budget.
Der Bericht zur Indexabdeckung zeigt die Lücke zwischen eingereichten und indexierten Seiten. Eine hohe Zahl an „Erkannt – zurzeit nicht indexiert“ auf einer großen Website ist ein starkes Crawl-Budget-Signal.
Wann das Crawl-Budget nicht das Problem ist
Manchmal ist „Gecrawlt – zurzeit nicht indexiert“ gar kein Budgetproblem. Es ist ein Qualitätsproblem. Google hat die Seite gecrawlt, bewertet und entschieden, dass sie eine Indexierung nicht wert ist. Wenn eine kleine Website ohne Crawl-Budget-Einschränkungen Seiten hat, die sich nicht indexieren lassen, lautet die Antwort meist, diese Seiten zu verbessern, statt an den Crawl-Anweisungen zu drehen.
Ein Crawl-Budget-Problem von einem Problem der Inhaltsqualität zu unterscheiden, ist der erste Diagnoseschritt – und wer hier falsch liegt, verschwendet Mühe an der falschen Lösung.
Wen es betrifft
Das Crawl-Budget betrifft vor allem große Websites: Onlineshops, Nachrichtenseiten, große Dienstleistungsunternehmen, alles mit Tausenden von URLs. Kleine Visitenkarten-Websites müssen selten daran denken. Doch für die Websites, die tatsächlich ein Crawl-Budget-Problem haben, ist es oft der wichtigste Grund, warum guter Inhalt nicht indexiert wird.
Die Optimierung des Crawl-Budgets gehört voll und ganz in den Bereich des technischen SEO und erfordert jemanden, der Crawl-Logs und Search-Console-Daten präzise lesen kann. Das technische SEO-Team von Defyn verwaltet das Crawl-Budget im Rahmen technischer Audits. Wenn Google Ihre Seiten nicht indexiert und Sie nicht wissen, warum, klärt ein Audit, ob es sich um ein Crawl-Budget-Problem handelt oder um etwas anderes.
