Was ist Crawlability?

Crawlability — auf Deutsch Crawlbarkeit — beschreibt, wie gut ein Suchmaschinen-Bot die Seiten einer Website finden und abrufen kann. „Gecrawlt“ heißt schlicht: Ein Programm hat die Adresse aufgerufen und den Inhalt gelesen. Was ein Crawler nicht erreicht, kann nicht bewertet werden, kann nicht in den Index kommen und kann folglich auch nicht in Suchergebnissen erscheinen. Crawlability ist damit keine Feinheit der technischen SEO, sondern deren Voraussetzung.

Crawlability einfach erklärt

Stellen Sie sich einen Besucher vor, der Ihre Website nur über Links erkundet. Er kennt keine Adresse auswendig, er kann kein Formular ausfüllen und sich nirgends anmelden. Er beginnt bei einer bekannten Adresse, liest die Seite, folgt jedem Link, den er findet, und wiederholt das. Alles, was auf diesem Weg erreichbar ist, ist crawlbar. Alles andere existiert für ihn nicht.

Drei Fragen entscheiden über die Crawlbarkeit einer einzelnen Seite:

• Ist sie auffindbar? Führt ein Link oder ein Eintrag in der Sitemap dorthin?
• Ist sie erlaubt? Sperrt die robots.txt den Pfad?
• Ist sie abrufbar? Antwortet der Server schnell genug und mit einem Statuscode aus der 200er-Reihe?

Crawlability und Indexierbarkeit sind zweierlei

Die häufigste Verwechslung im ganzen Themenfeld. Crawling ist das Abrufen, Indexierung die Aufnahme in den Suchindex. Beides lässt sich getrennt steuern, und die Kombinationen führen regelmäßig zu Überraschungen.

Daraus folgt die wichtigste Regel: Wer eine Seite aus dem Index nehmen will, sperrt sie nicht in der robots.txt, sondern setzt noindex und lässt den Abruf zu, bis die Seite verschwunden ist.

Wie ein Crawler arbeitet

1. Entdecken. Adressen stammen aus internen und externen Links, aus Sitemaps und aus früheren Abrufen.
2. Einreihen. Die gefundenen Adressen landen in einer Warteschlange und werden nach vermuteter Wichtigkeit sortiert.
3. Abrufen. Der Bot fordert die Seite an und bekommt HTML und Statuscode. Wie schnell er nachlegt, richtet sich nach der Antwortzeit Ihres Servers.
4. Rendern. Braucht die Seite JavaScript, um Inhalte anzuzeigen, kommt ein zweiter Schritt dazu: Die Seite wird wie in einem Browser ausgeführt. Das kostet Ressourcen und passiert oft erst später.
5. Auswerten und neue Links einsammeln — der Kreis beginnt von vorn.

Für die Praxis sind zwei Punkte daran wichtig. Erstens: Links, die erst durch JavaScript entstehen oder hinter Klick-Ereignissen liegen, werden im ersten Durchgang nicht gefunden. Zweitens: Ein langsamer Server bremst nicht nur Besucher, sondern auch die Menge der Seiten, die pro Tag abgerufen werden.

Was die Crawlability blockiert

• Sperren in der robots.txt, die zu breit gefasst sind. Ein Disallow: / aus der Testumgebung, das beim Livegang mitwandert, ist der Klassiker.
• Navigation, die nur per JavaScript funktioniert. Menüs ohne echte <a href>-Elemente sind für den Bot keine Links.
• Inhalte hinter Formularen, Filtern oder einer Anmeldung. Was erst nach einer Eingabe erscheint, wird nicht gecrawlt.
• Verwaiste Seiten. Kein interner Link führt hin — sie stehen nur in der Sitemap oder in gar keiner Quelle.
• Endlose Adressräume. Filter, Sortierungen, Kalender und Suchergebnisseiten erzeugen beliebig viele Varianten derselben Inhalte und binden Abrufe, die anderswo fehlen.
• Weiterleitungsketten und Schleifen. Nach einigen Sprüngen bricht der Crawler ab.
• Serverfehler und Zeitüberschreitungen. Häufen sich 5xx-Antworten, drosselt Google die Abrufe von sich aus.
• Tote Links. Jeder Broken Link ist ein Weg, der ins Leere führt, statt zur nächsten Seite.
• Zu aggressive Bot-Abwehr. Schutzsysteme und Ländersperren blocken gelegentlich auch die Suchmaschinen — ein Fehler, der oft erst auffällt, wenn die Sichtbarkeit bereits weg ist.

Crawl-Tiefe und Seitenstruktur

Die Crawl-Tiefe (auch Klicktiefe) gibt an, wie viele Klicks von der Startseite bis zu einer Seite nötig sind. Sie ist ein guter Anhaltspunkt für Wichtigkeit: Was der Betreiber selbst weit nach unten schiebt, ruft auch der Crawler seltener ab.

Als Orientierung gilt, dass wichtige Seiten in wenigen Schritten von der Startseite erreichbar sein sollten — für eine Firmenwebsite in der Regel drei. Erreicht wird das nicht durch ein aufgeblähtes Menü, sondern durch Übersichtsseiten pro Thema, durch Verweise im Fließtext und durch Querverbindungen zwischen verwandten Seiten. Bei großen Beständen helfen zusätzlich saubere Kategorien statt endloser Seitenzahlen in der Blätternavigation.

Crawl-Budget: wen es betrifft

Das Crawl-Budget ist die Menge an Abrufen, die eine Suchmaschine einer Website zugesteht. Sie ergibt sich aus dem, was der Server verträgt, und aus dem, was die Suchmaschine für lohnend hält.

Für die meisten Firmenwebsites ist das Thema unerheblich — bei einigen hundert Seiten reicht das Budget mühelos. Relevant wird es bei Shops mit vielen Varianten, bei Portalen mit Filtern und bei Websites, die laufend neue Adressen erzeugen. Wer in dieser Lage ist, gewinnt am meisten, indem er überflüssige Adressen gar nicht erst entstehen lässt: Parameter begrenzen, Sortierungen sperren, Duplicate Content über den Canonical-Tag zusammenführen und Weiterleitungen direkt auf das Endziel zeigen lassen.

Crawlability prüfen

Google Search Console. Der Bericht zur Seitenindexierung ist der Ausgangspunkt: Er zeigt, welche Adressen abgerufen und indexiert wurden und welche nicht — mit Gründen wie „Durch robots.txt blockiert“, „Gecrawlt, zurzeit nicht indexiert“ oder „Seite mit Weiterleitung“. Die URL-Prüfung beantwortet dieselbe Frage für eine einzelne Adresse und zeigt im Livetest, wie Google die Seite gerendert sieht. In den Einstellungen finden Sie zusätzlich die Crawling-Statistik mit Antwortzeiten und der Zahl der Abrufe pro Tag.

Ein eigener Crawl. Werkzeuge wie Screaming Frog oder Sitebulb laufen Ihre Website ab wie ein Bot und zeigen Statuscodes, Klicktiefe, verwaiste Seiten und Weiterleitungsketten. Der Vergleich zwischen Ihrer Sitemap und dem Crawl-Ergebnis ist besonders aufschlussreich: Seiten, die nur in der Sitemap stehen, sind intern nicht verlinkt.

Serverprotokolle. Die einzige Quelle, die zeigt, was der Bot tatsächlich abruft — und wo er Zeit verliert. Bei großen Websites ist das die ehrlichste Grundlage für Entscheidungen.

Der Handtest. Rufen Sie eine Seite mit deaktiviertem JavaScript auf. Fehlen dann Navigation oder Inhalt, ist der Befund eindeutig.

Crawlability verbessern: Checkliste

1. robots.txt kontrollieren — keine versehentlichen Sperren, Sitemap-Zeile vorhanden.
2. XML-Sitemap pflegen: nur indexierbare Adressen, keine Weiterleitungen, keine 404, in der Search Console eingereicht.
3. Interne Verlinkung ausbauen. Jede wichtige Seite bekommt Links aus passenden Texten; verwaiste Seiten auflösen.
4. Navigation in echtem HTML ausliefern, nicht erst per JavaScript erzeugen.
5. Statuscodes aufräumen: tote Links beheben, Ketten auf das Endziel verkürzen, Statuscodes konsistent halten.
6. Antwortzeiten senken — Caching, Komprimierung, ein Server, der unter Last nicht einbricht.
7. Adressräume begrenzen: Filter- und Sortiervarianten sperren oder zusammenführen.
8. Struktur flach halten, wichtige Seiten in wenigen Klicks erreichbar.
9. Nach jedem Relaunch erneut prüfen. Die meisten Crawling-Probleme entstehen am Tag des Livegangs.

Crawlability und KI-Crawler

Neben den Suchmaschinen rufen inzwischen auch die Crawler von KI-Anbietern Websites ab — teils, um Modelle zu trainieren, teils, um Antworten mit aktuellen Quellen zu belegen. Sie folgen denselben Wegen: Links, Sitemaps, saubere Statuscodes. Wer seine Website für Suchmaschinen erreichbar hält, ist damit auch hier auf der richtigen Seite.

Zwei Entscheidungen kommen dazu. Erstens, welche dieser Bots Sie zulassen — das steuern Sie über eigene Regeln in der robots.txt. Zweitens, ob Ihre Inhalte so aufgebaut sind, dass sie sich zitieren lassen: klare Fragen, klare Antworten, benannte Quellen. Dieser Teil gehört zur Sichtbarkeit in KI-Antworten.

Häufige Fragen zur Crawlability

Was bedeutet Crawlability auf Deutsch?

Crawlbarkeit: die Fähigkeit einer Website, von Suchmaschinen-Bots gefunden und abgerufen zu werden. „Gecrawlt“ bedeutet, dass ein Bot die Seite aufgerufen und gelesen hat.

Was ist der Unterschied zwischen Crawlability und Indexierbarkeit?

Crawlability betrifft das Abrufen, Indexierbarkeit die Aufnahme in den Suchindex. Eine Seite kann abrufbar und trotzdem bewusst nicht indexiert sein — und umgekehrt kann eine gesperrte Seite im Index landen, wenn andere Websites auf sie verweisen.

Wie teste ich die Crawlability meiner Website?

Mit der URL-Prüfung und dem Bericht zur Seitenindexierung in der Search Console für den Ist-Zustand, mit einem eigenen Crawl für Struktur, Klicktiefe und verwaiste Seiten und mit den Serverprotokollen für das, was der Bot wirklich abruft.

Meine Seite ist crawlbar, wird aber nicht indexiert — warum?

Der Status „Gecrawlt, zurzeit nicht indexiert“ heißt in der Regel: Google hat die Seite gesehen und hält sie für nicht relevant genug oder für weitgehend deckungsgleich mit anderen Seiten. Das ist kein technisches, sondern ein inhaltliches Problem — dünne Texte, Varianten desselben Inhalts, fehlende interne Verlinkung.

Wie oft wird meine Website gecrawlt?

Das hängt von Größe, Aktualisierungsrhythmus und Serverleistung ab und lässt sich nicht einstellen. Die Crawling-Statistik in der Search Console zeigt den tatsächlichen Verlauf. Websites, die regelmäßig neue Inhalte veröffentlichen, werden meist häufiger besucht.

Hilft eine Sitemap gegen Crawling-Probleme?

Sie hilft beim Entdecken, ersetzt aber keine interne Verlinkung. Eine Seite, die ausschließlich in der Sitemap steht, gilt als schwach — sie wird gefunden, aber selten für wichtig gehalten.

Schaden viele Unterseiten der Crawlability?

Nicht die Anzahl ist das Problem, sondern der Anteil an Adressen ohne eigenen Wert. Tausend eigenständige Produktseiten sind unkritisch, tausend Filterkombinationen derselben Liste binden Abrufe ohne Gegenwert.

Zusammenfassung

Crawlability ist die Voraussetzung für alles andere: Was nicht abgerufen wird, wird nicht bewertet und erscheint nicht in den Suchergebnissen. Die Hebel sind überschaubar — eine korrekte robots.txt, eine gepflegte Sitemap, echte Links in echtem HTML, saubere Statuscodes, kurze Antwortzeiten und eine flache Struktur. Geprüft wird mit Search Console, eigenem Crawl und Serverprotokoll. Crawling, Indexierung und Seitenstruktur prüfen wir im SEO-Audit und beheben die Befunde direkt im Code — als Teil der technischen SEO-Betreuung oder im laufenden Betrieb.