Ein h\u00e4ufiges und frustrierendes SEO-Problem: Sie ver\u00f6ffentlichen Seiten, sie sind gut, und Wochen sp\u00e4ter hat Google immer noch die H\u00e4lfte nicht indexiert. Die Search Console zeigt sie als \u201eErkannt \u2013 zurzeit nicht indexiert“ oder \u201eGecrawlt \u2013 zurzeit nicht indexiert“ an. Der Inhalt ist in Ordnung. Das Problem ist oft das Crawl-Budget, einer der am wenigsten verstandenen Bereiche des technischen SEO.<\/p>
Das Crawl-Budget ist die Anzahl der Seiten, die der Googlebot innerhalb eines bestimmten Zeitraums auf einer Website crawlt. Es ergibt sich aus zwei Faktoren: dem Crawl-Rate-Limit (wie schnell Google crawlen kann, ohne den Server zu \u00fcberlasten) und der Crawl-Nachfrage (wie sehr Google die Website crawlen m\u00f6chte, basierend auf ihrer wahrgenommenen Wichtigkeit und Aktualit\u00e4t).<\/p>
F\u00fcr eine kleine Website mit ein paar hundert Seiten ist das Crawl-Budget selten ein Problem. F\u00fcr eine gro\u00dfe Website, einen Onlineshop mit Tausenden von Produkten oder jede Website, die viele URL-Varianten erzeugt, wird das Crawl-Budget zu einer echten Einschr\u00e4nkung. Google crawlt schlichtweg nicht jede Seite oft genug.<\/p>
Die Strategie besteht darin, den Googlebot auf die Seiten zu lenken, die wichtig sind, und von denen wegzuf\u00fchren, die es nicht sind. Nutzen Sie die robots.txt, um das Crawlen parameterbasierter URLs zu blockieren, die niemals indexiert werden sollten. Nutzen Sie Canonical-Tags, um doppelte URLs zusammenzuf\u00fchren. Beheben Sie Weiterleitungsketten, sodass jede Weiterleitung direkt zum endg\u00fcltigen Ziel f\u00fchrt. Geben Sie f\u00fcr tats\u00e4chlich tote Seiten korrekte 404- oder 410-Statuscodes zur\u00fcck. Halten Sie die XML-Sitemap sauber und listen Sie nur die Seiten auf, die gecrawlt und indexiert werden sollen.<\/p>
Auch die interne Verlinkung steuert das Crawl-Budget. Intern gut verlinkte Seiten werden h\u00e4ufiger gecrawlt. Verwaiste Seiten werden selten oder nie gecrawlt. Eine starke interne Verlinkungsstruktur f\u00fchrt den Googlebot ganz nat\u00fcrlich zu den wichtigen Seiten.<\/p>
Der Bericht zu den Crawling-Statistiken in der Search Console zeigt, wie viele Seiten Google pro Tag crawlt, die durchschnittliche Antwortzeit und die Aufschl\u00fcsselung dessen, was gecrawlt wird. Geht ein gro\u00dfer Teil der Crawl-Aktivit\u00e4t an Parameter-URLs, Weiterleitungen oder Fehlerseiten, ist das verschwendetes Budget.<\/p>
Der Bericht zur Indexabdeckung zeigt die L\u00fccke zwischen eingereichten und indexierten Seiten. Eine hohe Zahl an \u201eErkannt \u2013 zurzeit nicht indexiert“ auf einer gro\u00dfen Website ist ein starkes Crawl-Budget-Signal.<\/p>
Manchmal ist \u201eGecrawlt \u2013 zurzeit nicht indexiert“ gar kein Budgetproblem. Es ist ein Qualit\u00e4tsproblem. Google hat die Seite gecrawlt, bewertet und entschieden, dass sie eine Indexierung nicht wert ist. Wenn eine kleine Website ohne Crawl-Budget-Einschr\u00e4nkungen Seiten hat, die sich nicht indexieren lassen, lautet die Antwort meist, diese Seiten zu verbessern, statt an den Crawl-Anweisungen zu drehen.<\/p>
Ein Crawl-Budget-Problem von einem Problem der Inhaltsqualit\u00e4t zu unterscheiden, ist der erste Diagnoseschritt \u2013 und wer hier falsch liegt, verschwendet M\u00fche an der falschen L\u00f6sung.<\/p>
Das Crawl-Budget betrifft vor allem gro\u00dfe Websites: Onlineshops, Nachrichtenseiten, gro\u00dfe Dienstleistungsunternehmen, alles mit Tausenden von URLs. Kleine Visitenkarten-Websites m\u00fcssen selten daran denken. Doch f\u00fcr die Websites, die tats\u00e4chlich ein Crawl-Budget-Problem haben, ist es oft der wichtigste Grund, warum guter Inhalt nicht indexiert wird.<\/p>