Crawl-Budget: Wann es für Ihre Website zählt
Das Crawl-Budget ist die Menge an URLs, die Google auf einer Website crawlen kann und will, also der Anteil am Crawling, den Ihre Website bekommt. Es ergibt sich aus der Crawling-Kapazität, also wie viele Abrufe Ihr Server verkraftet, und dem Crawling-Bedarf, also wie wichtig und aktuell Google Ihre Seiten einschätzt. Für die meisten Websites ist es kein Engpass.
Muss ich mich um das Crawl-Budget kümmern?
Wahrscheinlich nicht, wenn Ihre Website überschaubar ist. Google schreibt selbst, dass sich die meisten Websites mit weniger als einigen Tausend URLs nicht darum kümmern müssen. Seinen Leitfaden zum Crawl-Budget richtet Google an Websites mit mehr als einer Million Seiten, die sich wöchentlich ändern, oder mit mehr als 10.000 Seiten, die sich täglich ändern. Die Website eines Handwerksbetriebs mit 30 Seiten wird vollständig gecrawlt.
Ein Warnsignal gibt es trotzdem: Wenn in der Search Console viele Seiten als „Gefunden – zurzeit nicht indexiert“ erscheinen, kommt Google mit dem Crawlen nicht hinterher. Und: Crawling ist laut Google kein Rankingfaktor. Mehr Crawling bringt keine besseren Positionen, es sorgt nur dafür, dass neue und geänderte Seiten schneller im Index ankommen.
Ein Shop mit 10 Kategorien, je 3 Filtern mit 5 Werten und 3 Sortierungen: Filter und Sortierungen erzeugen zusammen über 8.000 zusätzliche Adressen, oft mehr als der Shop Produkte hat. Google crawlt dann Varianten derselben Listen, während neue Produkte warten.
Was verschwendet Crawl-Budget?
Google nennt vor allem URLs mit wenig eigenem Wert:
- Filter und Facetten: jede Kombination aus Farbe, Größe und Preis als eigene URL
- Session-IDs und Tracking-Parameter: dieselbe Seite unter immer neuen Adressen
- Duplikate: identische Inhalte unter mehreren URLs, siehe Duplicate Content
- Soft-404-Seiten: leere Seiten, die dem Crawler „alles in Ordnung“ melden
- Endlose URL-Räume: etwa Kalender, die sich unendlich weiterblättern lassen
- Lange Weiterleitungsketten und minderwertige Inhalte
Wie steuern Sie das Crawl-Budget?
- robots.txt für URLs, die Google nie abrufen soll, etwa Filterkombinationen oder interne Suchergebnisse. Ein
noindexspart kein Crawl-Budget: Google muss die Seite abrufen, um die Anweisung zu lesen. Stehen solche Seiten schon im Index, lassen sie sich per noindex zuerst entfernen und danach in der robots.txt sperren (Praxis-Empfehlung). - Entfernte Seiten mit 404 oder 410 beantworten, nicht auf die Startseite umleiten.
- XML-Sitemap aktuell halten, mit den Seiten, die in den Index sollen.
- Schneller Server: Antwortet er zügig, erhöht Google die Crawling-Kapazität.
- Weiterleitungen direkt auf das Ziel setzen, ohne Zwischenstationen.
Ob es ein Problem gibt, zeigt die Search Console unter Einstellungen > Crawling-Statistik: wie viele Anfragen Google stellt, welche Antworten Ihr Server gibt und wofür gecrawlt wird.
Vertiefung: Crawling, Indexierung und Server-Technik: Technisches SEO.
Crawlt Google Ihre wichtigen Seiten oder Ihre Filter? Ich sehe es mir in der Erstanalyse an.
Kostenlose Erstanalyse anfordern