Crawling & Indexierung — der Weg in den Google-Index
Crawling ist das Entdecken und Auslesen Ihrer Seiten durch Suchmaschinen-Programme (Crawler); Indexierung ist die Aufnahme dieser Seiten in Googles durchsuchbare Datenbank. Nur was gecrawlt UND indexiert wurde, kann überhaupt ranken — hier beginnt jede Sichtbarkeit, und hier scheitert sie am häufigsten unbemerkt.
Jede Stufe kann still fehlschlagen — eine Seite kann gecrawlt, aber nie indexiert werden. Deshalb: regelmäßig in der Search Console prüfen.
Wie steuern Sie Crawling und Indexierung?
Vier Werkzeuge geben Ihnen die Kontrolle:
- XML-Sitemap: die Einladungsliste — alle wichtigen URLs an einem Ort, in der Search Console eingereicht
- robots.txt: die Hausordnung — sagt Crawlern, welche Bereiche tabu sind (Vorsicht: sperrt nur das Crawlen, nicht zwingend die Indexierung!)
- noindex: das Stoppschild für einzelne Seiten — „nicht in den Index aufnehmen“ (Danke-Seiten, interne Suche, Filterseiten)
- Interne Links: der wichtigste Wegweiser — Seiten ohne interne Verlinkung findet der Crawler schlecht und bewertet sie als unwichtig
Neu seit der KI-Ära: Auch GPTBot, ClaudeBot & Co. crawlen Ihre Website. Für sie gelten dieselben Regeln in der robots.txt — plus optional eine llms.txt als Wegweiser.
Warum wird eine Seite nicht indexiert?
Der Klassiker im Kundengespräch: „Wir haben die Seite seit Monaten — Google zeigt sie nicht.“ Die häufigsten Ursachen, sortiert nach Häufigkeit aus meiner Praxis:
- Dünner oder doppelter Inhalt: Google crawlt die Seite, hält sie aber für nicht indexwürdig („Gecrawlt — zurzeit nicht indexiert“ in der Search Console)
- Vergessenes noindex: aus der Entwicklungsphase übrig geblieben — ein Häkchen im SEO-Plugin oder CMS
- Keine internen Links: die Seite ist eine Insel — von nirgends erreichbar
- Fehlender Canonical oder Duplikate: Google wählt eine andere Version der Seite
- Technische Blockade: robots.txt-Sperre, Serverfehler, Weiterleitungsketten
Diagnose in 30 Sekunden: URL in die URL-Prüfung der Google Search Console eingeben — sie sagt exakt, ob und warum (nicht) indexiert wurde.
Sind alle wichtigen Seiten Ihrer Website im Google-Index? Ich prüfe es.
Kostenlose Erstanalyse anfordern