SEO-GLOSSAR · BEGRIFF

Crawling & Indexierung — der Weg in den Google-Index

Crawling ist das Entdecken und Auslesen Ihrer Seiten durch Suchmaschinen-Programme (Crawler); Indexierung ist die Aufnahme dieser Seiten in Googles durchsuchbare Datenbank. Nur was gecrawlt UND indexiert wurde, kann überhaupt ranken — hier beginnt jede Sichtbarkeit, und hier scheitert sie am häufigsten unbemerkt.

Stand: Juli 2026 · Lesezeit: 3 Min. · Mykola Vyshnevskyi

Vom Crawler zum Ranking — die 4 Stufen

1 · CrawlenGooglebot folgt Links & Sitemap und ruft Ihre Seiten ab

2 · RendernDie Seite wird wie im Browser aufgebaut — inkl. JavaScript

3 · IndexierenGoogle entscheidet: Kommt die Seite in den Index — und welche Version?

4 · RankenErst jetzt konkurriert die Seite um Positionen

Jede Stufe kann still fehlschlagen — eine Seite kann gecrawlt, aber nie indexiert werden. Deshalb: regelmäßig in der Search Console prüfen.

Wie steuern Sie Crawling und Indexierung?

Vier Werkzeuge geben Ihnen die Kontrolle:

XML-Sitemap: die Einladungsliste — alle wichtigen URLs an einem Ort, in der Search Console eingereicht
robots.txt: die Hausordnung — sagt Crawlern, welche Bereiche tabu sind (Vorsicht: sperrt nur das Crawlen, nicht zwingend die Indexierung!)
noindex: das Stoppschild für einzelne Seiten — „nicht in den Index aufnehmen“ (Danke-Seiten, interne Suche, Filterseiten)
Interne Links: der wichtigste Wegweiser — Seiten ohne interne Verlinkung findet der Crawler schlecht und bewertet sie als unwichtig

Neu seit der KI-Ära: Auch GPTBot, ClaudeBot & Co. crawlen Ihre Website. Für sie gelten dieselben Regeln in der robots.txt — plus optional eine llms.txt als Wegweiser.

Warum wird eine Seite nicht indexiert?

Der Klassiker im Kundengespräch: „Wir haben die Seite seit Monaten — Google zeigt sie nicht.“ Die häufigsten Ursachen, sortiert nach Häufigkeit aus unserer Praxis:

Dünner oder doppelter Inhalt: Google crawlt die Seite, hält sie aber für nicht indexwürdig („Gecrawlt — zurzeit nicht indexiert“ in der Search Console)
Vergessenes noindex: aus der Entwicklungsphase übrig geblieben — ein Häkchen im SEO-Plugin oder CMS
Keine internen Links: die Seite ist eine Insel — von nirgends erreichbar
Fehlender Canonical oder Duplikate: Google wählt eine andere Version der Seite
Technische Blockade: robots.txt-Sperre, Serverfehler, Weiterleitungsketten

Diagnose in 30 Sekunden: URL in die URL-Prüfung der Google Search Console eingeben — sie sagt exakt, ob und warum (nicht) indexiert wurde.

Sind alle wichtigen Seiten Ihrer Website im Google-Index? Wir prüfen es.

Kostenlose Erstanalyse anfordern

Crawling & Indexierung — der Weg in den Google-Index

Wie steuern Sie Crawling und Indexierung?

Warum wird eine Seite nicht indexiert?

Verwandte Begriffe