Was ist Crawlability (Crawlbarkeit)?

Crawlability, auf Deutsch Crawlbarkeit, beschreibt, wie leicht ein Suchmaschinen-Crawler wie der Googlebot die Seiten einer Website finden, aufrufen und lesen kann. Nur was gecrawlt wird, kann in den Index gelangen und in Suchergebnissen erscheinen. Typische Hindernisse sind Sperren in der robots.txt, fehlende interne Links, Fehlerstatuscodes und eine zu große Crawl-Tiefe.

„Gecrawlt“ heißt schlicht: Ein Programm hat die Adresse aufgerufen und den Inhalt gelesen. Was ein Crawler nicht erreicht, kann nicht bewertet werden. Crawlability ist damit keine Feinheit der technischen SEO, sondern deren Voraussetzung. Wie gut die Bots der Suchmaschinen Ihre Seiten erreichen, ist der erste Prüfbereich in unserem SEO-Audit – mit einer Liste der Hindernisse, sortiert nach Wirkung.

Crawlability einfach erklärt

Stellen Sie sich einen Besucher vor, der Ihre Website nur über Links erkundet. Er kennt keine Adresse auswendig, er kann kein Formular ausfüllen und sich nirgends anmelden. Er beginnt bei einer bekannten Adresse, liest die Seite, folgt jedem Link, den er findet, und wiederholt das. Alles, was auf diesem Weg erreichbar ist, ist crawlbar. Alles andere existiert für ihn nicht.

Drei Fragen entscheiden über die Crawlbarkeit einer einzelnen Seite:

• Ist sie auffindbar? Führt ein Link oder ein Eintrag in der Sitemap dorthin?
• Ist sie erlaubt? Sperrt die robots.txt den Pfad?
• Ist sie abrufbar? Antwortet der Server schnell genug und mit einem Statuscode aus der 200er-Reihe?

Crawlability und Indexierbarkeit sind zweierlei

Die häufigste Verwechslung im ganzen Themenfeld. Crawling ist das Abrufen, Indexierung die Aufnahme in den Suchindex. Crawlability ist also die Frage „kommt der Bot an die Seite heran?“, Indexierbarkeit die Frage „darf und will die Suchmaschine sie aufnehmen?“. Gesteuert wird beides an verschiedenen Stellen — der Zugang in der robots.txt, die Aufnahme über noindex und den Canonical-Tag —, und die Kombinationen führen regelmäßig zu Überraschungen.

Daraus folgt die wichtigste Regel: Wer eine Seite aus dem Index nehmen will, sperrt sie nicht in der robots.txt, sondern setzt noindex und lässt den Abruf zu, bis die Seite verschwunden ist. Und umgekehrt: Eine Seite, die zwar erreichbar, aber inhaltlich zu dünn ist, bleibt trotz tadelloser Crawlability draußen. Crawlability ist die Eintrittskarte, keine Platzgarantie.

Wie ein Crawler arbeitet

1. Entdecken. Adressen stammen aus internen und externen Links, aus Sitemaps und aus früheren Abrufen.
2. Einreihen. Die gefundenen Adressen landen in einer Warteschlange und werden nach vermuteter Wichtigkeit sortiert.
3. Abrufen. Der Bot fordert die Seite an und bekommt HTML und Statuscode. Wie schnell er nachlegt, richtet sich nach der Antwortzeit Ihres Servers.
4. Rendern. Braucht die Seite JavaScript, um Inhalte anzuzeigen, kommt ein zweiter Schritt dazu: Die Seite wird wie in einem Browser ausgeführt. Das kostet Ressourcen und passiert oft erst später.
5. Auswerten und neue Links einsammeln — der Kreis beginnt von vorn.

Für die Praxis sind zwei Punkte daran wichtig. Erstens: Links, die erst durch JavaScript entstehen oder hinter Klick-Ereignissen liegen, werden im ersten Durchgang nicht gefunden. Zweitens: Ein langsamer Server bremst nicht nur Besucher, sondern auch die Menge der Seiten, die pro Tag abgerufen werden.

Welche Crawler Ihre Website abrufen

„Suchmaschinen-Crawler“ meint im Alltag den Googlebot, tatsächlich klopfen aber mehrere Programme an. Jedes meldet sich mit einer eigenen Kennung, dem User-Agent, und jedes hat ein anderes Ziel. Das ist für die Crawlability wichtig, weil Regeln in der robots.txt je Kennung gelten: Was Sie dem einen erlauben, muss für den anderen nicht gelten.

Zwei Hinweise für die Praxis. Die Kennung ist nur eine Angabe im Abruf und lässt sich fälschen: Ob ein Besuch wirklich von Google kam, klärt eine Rückwärtsauflösung der abrufenden IP-Adresse. Und eine Sperre für die Werkzeug-Crawler der SEO-Anbieter hat nichts mit Ihrer Sichtbarkeit zu tun — sie macht nur Ihre Linkdaten für Wettbewerber unsichtbar. Daneben rufen die Bots der KI-Anbieter Seiten nach denselben Regeln ab; welcher davon wofür kommt und was eine Sperre bewirkt, steht im Artikel KI-Crawler.

Was die Crawlability blockiert

• Sperren in der robots.txt, die zu breit gefasst sind. Ein Disallow: / aus der Testumgebung, das beim Livegang mitwandert, ist der Klassiker.
• Navigation, die nur per JavaScript funktioniert. Menüs ohne echte <a href>-Elemente sind für den Bot keine Links.
• Inhalte hinter Formularen, Filtern oder einer Anmeldung. Was erst nach einer Eingabe erscheint, wird nicht gecrawlt.
• Verwaiste Seiten. Kein interner Link führt hin — sie stehen nur in der Sitemap oder in gar keiner Quelle.
• Endlose Adressräume. Filter, Sortierungen, Kalender und Suchergebnisseiten erzeugen beliebig viele Varianten derselben Inhalte und binden Abrufe, die anderswo fehlen.
• Weiterleitungsketten und Schleifen. Nach einigen Sprüngen bricht der Crawler ab.
• Serverfehler und Zeitüberschreitungen. Häufen sich 5xx-Antworten, drosselt Google die Abrufe von sich aus.
• Tote Links. Jeder Broken Link ist ein Weg, der ins Leere führt, statt zur nächsten Seite.
• Zu aggressive Bot-Abwehr. Schutzsysteme und Ländersperren blocken gelegentlich auch die Suchmaschinen — ein Fehler, der oft erst auffällt, wenn die Sichtbarkeit bereits weg ist.

Crawl-Tiefe: wie tief Ihre Seiten liegen

Die Crawl-Tiefe (auch Klicktiefe) gibt an, wie viele Klicks von der Startseite bis zu einer Seite nötig sind. Sie ist ein guter Anhaltspunkt für Wichtigkeit: Was der Betreiber selbst weit nach unten schiebt, ruft auch der Crawler seltener ab.

Als Orientierung gilt, dass wichtige Seiten in wenigen Schritten von der Startseite erreichbar sein sollten — für eine Firmenwebsite in der Regel drei. Erreicht wird das nicht durch ein aufgeblähtes Menü, sondern durch Übersichtsseiten pro Thema, durch Verweise im Fließtext und durch Querverbindungen zwischen verwandten Seiten. Bei großen Beständen helfen zusätzlich saubere Kategorien statt endloser Seitenzahlen in der Blätternavigation.

So lesen Sie die Werte, die ein Crawler in der Spalte „Crawl-Tiefe“ oder „Klicktiefe“ ausgibt:

Messen lässt sich die Crawl-Tiefe mit jedem Desktop-Crawler: Er startet auf der Startseite und zählt die Klicks bis zu jeder gefundenen Adresse. Seiten, die in der Sitemap stehen, beim Crawl aber gar nicht auftauchen, haben überhaupt keine Crawl-Tiefe — sie sind verwaist. Gesenkt wird die Tiefe über Übersichtsseiten, Verweise aus dem Fließtext und Querverbindungen, nicht über ein Menü mit hundert Einträgen.

Eine Warnung zur Zahl selbst: Die Crawl-Tiefe ist ein Symptom, kein Ziel. Wer sie senkt, indem er jeder Seite einen Link aus dem Fußbereich gibt, hat formal eine flache Website und inhaltlich keine Reihenfolge mehr — alle Seiten sind dann gleich wichtig, also keine. Interessant sind die Ausreißer: Seiten, die Geld bringen und tief liegen, und Seiten, die niemand braucht und direkt von der Startseite verlinkt sind.

Crawl-Delay: Wartezeit zwischen den Abrufen

Crawl-delay ist eine Zeile in der robots.txt, die einen Crawler bittet, zwischen zwei Abrufen eine bestimmte Zahl von Sekunden zu warten — geschrieben als Crawl-delay: 10 innerhalb einer User-agent-Gruppe. Sie gehört nicht zum ursprünglichen Umfang der Datei, sondern wurde von einzelnen Suchmaschinen eingeführt. Entsprechend unterschiedlich wird sie behandelt:

• Google wertet die Zeile nicht aus. Der Googlebot bestimmt sein Tempo selbst und richtet es an Antwortzeit und Fehlerquote Ihres Servers aus. Die Zeile schadet nicht, wirkt aber auch nicht — eine Website mit Crawl-delay wird von Google genauso schnell abgerufen wie eine ohne.
• Bing beachtet sie. Dort ist die Angabe das vorgesehene Mittel, um das Tempo zu begrenzen. Yandex wertet die Zeile nicht mehr aus und bietet stattdessen eine Einstellung im eigenen Webmaster-Werkzeug.
• Alle anderen Bots entscheiden selbst. Die Zeile ist eine Bitte, keine Sperre. Wer sich nicht an die robots.txt hält, hält sich auch an diese Zeile nicht.

Entscheidend ist die Rechnung dahinter: Eine Wartezeit begrenzt die Abrufe pro Tag. Bei einer Website mit einigen hundert Seiten fällt das kaum auf, bei einem Shop mit vielen tausend Adressen bedeutet es, dass neue und geänderte Seiten später bemerkt werden. Eine Drosselung kostet also Aktualität in der Suche — und genau deshalb ist sie das letzte Mittel, nicht das erste.

Wenn ein Crawler Ihren Server wirklich belastet, helfen andere Wege zuerst: Antwortzeiten senken, Caching einschalten, die Last der teuren Seiten prüfen. Lässt sich ein einzelner Bot nicht anders bändigen, ist eine Begrenzung auf Serverebene wirksamer als eine Zeile, die freiwillig befolgt wird. Für kurze Spitzen ist die saubere Antwort ein Statuscode 503 oder 429 statt einer dauerhaften Sperre: Suchmaschinen lesen ihn als „später wieder versuchen“ und nehmen die Seite nicht aus dem Index. Bleiben solche Antworten länger als ein paar Tage stehen, kippt das Signal — dann gilt die Seite als verschwunden.

Crawl-Budget: wen es betrifft

Das Crawl-Budget ist die Menge an Abrufen, die eine Suchmaschine einer Website zugesteht. Sie ergibt sich aus dem, was der Server verträgt, und aus dem, was die Suchmaschine für lohnend hält.

Für die meisten Firmenwebsites ist das Thema unerheblich — bei einigen hundert Seiten reicht das Budget mühelos. Relevant wird es bei Shops mit vielen Varianten, bei Portalen mit Filtern und bei Websites, die laufend neue Adressen erzeugen. Wer in dieser Lage ist, gewinnt am meisten, indem er überflüssige Adressen gar nicht erst entstehen lässt: Parameter begrenzen, Sortierungen sperren, Duplicate Content über den Canonical-Tag zusammenführen und Weiterleitungen direkt auf das Endziel zeigen lassen.

Crawlability prüfen: der Crawl-Test

Ein Crawl-Test, oft auch Crawlability-Check genannt, ist kein einzelnes Werkzeug, sondern die Gegenprobe aus fünf Blickwinkeln: Was sagt Google, was erlaubt die robots.txt, was findet ein eigener Crawl, was zeigt der Server, und was steht wirklich im ausgelieferten Quelltext? Erst zusammen ergeben sie ein Bild. Ein grüner Haken in einem einzelnen Prüfdienst sagt wenig.

1. Google Search Console: Ist-Zustand

Der Bericht zur Seitenindexierung in der Search Console ist der Ausgangspunkt: Er zeigt, welche Adressen abgerufen und indexiert wurden und welche nicht — mit Gründen wie „Durch robots.txt blockiert“, „Gecrawlt, zurzeit nicht indexiert“ oder „Seite mit Weiterleitung“. Die URL-Prüfung beantwortet dieselbe Frage für eine einzelne Adresse und zeigt im Livetest, wie Google die Seite gerendert sieht. In den Einstellungen finden Sie zusätzlich die Crawling-Statistik mit Antwortzeiten und der Zahl der Abrufe pro Tag; der robots.txt-Bericht daneben zeigt, welche Fassung der Datei Google zuletzt gelesen hat und ob sie Fehler enthält.

2. robots.txt je Kennung lesen

Rufen Sie /robots.txt im Browser auf — die Datei liegt immer direkt hinter der Domain. Dann die wichtigste Regel beim Lesen: Für einen Bot gilt genau eine Gruppe, nämlich die mit seinem Namen; existiert keine, gilt User-agent: *. Wer unter dem Sternchen alles erlaubt, weiter unten aber eine eigene Gruppe für einen Bot stehen hat, sperrt diesen vielleicht aus, ohne es zu merken. Prüfen Sie außerdem, ob jede wichtige Ressource erreichbar ist: Ein Disallow auf Verzeichnisse mit CSS oder JavaScript verhindert, dass Google die Seite so sieht wie der Besucher.

3. Eigener Crawl

Werkzeuge wie Screaming Frog oder Sitebulb laufen Ihre Website ab wie ein Bot und zeigen Statuscodes, Klicktiefe, verwaiste Seiten und Weiterleitungsketten. Der Vergleich zwischen Ihrer Sitemap und dem Crawl-Ergebnis ist besonders aufschlussreich: Seiten, die nur in der Sitemap stehen, sind intern nicht verlinkt. Ein zweiter Lauf mit abgeschaltetem JavaScript-Rendering zeigt, wie viel von der Website im ersten Durchgang überhaupt sichtbar ist.

4. Serverprotokolle

Die einzige Quelle, die zeigt, was der Bot tatsächlich abruft — und wo er Zeit verliert. Interessant sind drei Fragen: Welche Kennungen kommen, welche Statuscodes bekommen sie, und welche Bereiche Ihrer Website fressen die meisten Abrufe. Bei großen Websites ist das die ehrlichste Grundlage für Entscheidungen.

5. Der Handtest

Rufen Sie eine Seite mit deaktiviertem JavaScript auf. Fehlen dann Navigation oder Inhalt, ist der Befund eindeutig. Dieselbe Probe schneller: Quelltext anzeigen und nach einem Satz suchen, den Sie auf der Seite lesen. Steht er nicht im Quelltext, wird er erst im Browser nachgeladen — und ist für jeden Abruf ohne Rendering nicht vorhanden.

Indexierbarkeit prüfen

Crawlability und Indexierbarkeit werden an verschiedenen Stellen gesteuert, deshalb braucht die Indexierbarkeit eine eigene Gegenprobe. Die Frage lautet hier nicht „kommt der Bot an die Seite heran?“, sondern „darf und will die Suchmaschine sie aufnehmen?“. Vier Prüfungen in dieser Reihenfolge:

1. URL-Prüfung in der Search Console. Geben Sie die Adresse ein. Die Zeile „URL ist auf Google“ oder „URL ist nicht auf Google“ nennt den Grund — etwa „Durch robots.txt blockiert“, „Alternative Seite mit richtigem kanonischen Tag“, „Ausgeschlossen durch das Tag ‚noindex‘“ oder „Gecrawlt, zurzeit nicht indexiert“. Der Bericht zur Seitenindexierung zeigt dieselben Gründe für alle Adressen zusammen, mit der Zahl der betroffenen Seiten.
2. robots.txt: bleibt der Abruf offen? Eine gesperrte Seite kann ihr noindex nicht zeigen, weil es nie gelesen wird. Soll eine Seite aus dem Index verschwinden, muss der Abruf erlaubt bleiben, bis sie draußen ist.
3. Meta-Robots und HTTP-Header. Suchen Sie im ausgelieferten Quelltext nach <meta name="robots" und prüfen Sie zusätzlich den Antwortkopf X-Robots-Tag. Ein noindex im Header ist im Browser nicht sichtbar und bleibt deshalb oft lange unentdeckt — besonders nach einem Relaunch, wenn die Einstellung der Testumgebung mitwandert.
4. Canonical-Tag und Weiterleitung. Zeigt der Canonical auf eine andere Adresse, bewertet die Suchmaschine jene statt dieser. Prüfen Sie, ob die Seite sich selbst als kanonisch nennt, ob die Angabe vollständig geschrieben ist und ob sie zur Adresse in der Sitemap passt.

Bleibt danach nur „Gecrawlt, zurzeit nicht indexiert“ übrig, ist die Technik in Ordnung und die Ursache liegt im Inhalt: zu dünn, zu ähnlich zu anderen Seiten der Website, intern kaum verlinkt.

Crawlability verbessern: Checkliste

1. robots.txt kontrollieren — keine versehentlichen Sperren, Sitemap-Zeile vorhanden, Gruppen je Kennung bewusst gesetzt.
2. XML-Sitemap pflegen: nur indexierbare Adressen, keine Weiterleitungen, keine 404, in der Search Console eingereicht.
3. Interne Verlinkung ausbauen. Jede wichtige Seite bekommt Links aus passenden Texten; verwaiste Seiten auflösen.
4. Navigation in echtem HTML ausliefern, nicht erst per JavaScript erzeugen.
5. Statuscodes aufräumen: tote Links beheben, Ketten auf das Endziel verkürzen, Statuscodes konsistent halten.
6. Antwortzeiten senken — Caching, Komprimierung, ein Server, der unter Last nicht einbricht. Das ist die wirksamste Form von Crawl-Steuerung.
7. Adressräume begrenzen: Filter- und Sortiervarianten sperren oder zusammenführen.
8. Struktur flach halten, wichtige Seiten in wenigen Klicks erreichbar.
9. Bot-Abwehr und CDN mitprüfen, nicht nur die robots.txt: Schutzsysteme und Ländersperren weisen Crawler ab, ohne dass die Datei davon etwas verrät.
10. Nach jedem Relaunch erneut prüfen. Die meisten Crawling-Probleme entstehen am Tag des Livegangs.

Häufige Fragen zur Crawlability

Was ist Crawlability einfach erklärt?

Crawlability ist die Fähigkeit einer Website, von Suchmaschinen-Bots vollständig erkundet zu werden. Eine Seite ist crawlbar, wenn ein Link zu ihr führt, die robots.txt sie nicht sperrt und der Server sie schnell mit einem Statuscode aus der 200er-Reihe ausliefert.

Was ist die Crawl-Tiefe?

Die Crawl-Tiefe (auch Klicktiefe) ist die Zahl der Klicks, die ein Crawler von der Startseite bis zu einer bestimmten Seite braucht. Wichtige Seiten einer Firmenwebsite sollten in der Regel mit höchstens drei Klicks erreichbar sein; was tiefer liegt, wird seltener abgerufen.

Beachtet Google die Angabe Crawl-delay?

Nein. Der Googlebot wertet diese Zeile in der robots.txt nicht aus und bestimmt sein Tempo selbst anhand von Antwortzeit und Fehlerquote des Servers. Bing hält sich daran, Yandex nicht mehr. Wer einen überlasteten Server schützen muss, erreicht mit schnelleren Antworten und einer Begrenzung auf Serverebene mehr.

Was bedeutet Crawlability auf Deutsch?

Crawlbarkeit: die Fähigkeit einer Website, von Suchmaschinen-Bots gefunden und abgerufen zu werden. „Gecrawlt“ bedeutet, dass ein Bot die Seite aufgerufen und gelesen hat.

Was ist der Unterschied zwischen Crawlability und Indexierbarkeit?

Crawlability betrifft das Abrufen, Indexierbarkeit die Aufnahme in den Suchindex. Eine Seite kann abrufbar und trotzdem bewusst nicht indexiert sein — und umgekehrt kann eine gesperrte Seite im Index landen, wenn andere Websites auf sie verweisen.

Wie teste ich die Crawlability meiner Website?

Mit der URL-Prüfung und dem Bericht zur Seitenindexierung in der Search Console für den Ist-Zustand, mit einem eigenen Crawl für Struktur, Klicktiefe und verwaiste Seiten und mit den Serverprotokollen für das, was der Bot wirklich abruft. Die Gegenprobe im Quelltext zeigt, ob der Inhalt ohne JavaScript ausgeliefert wird.

Dürfen die Bots der KI-Anbieter meine Seiten lesen?

Das regeln eigene Gruppen in der robots.txt, und in der Praxis blockt häufig der Bot-Schutz beim Hoster, ohne dass die Datei das zeigt. Welcher Bot wofür kommt, wie Sie den Zugang prüfen und was eine Sperre für die Sichtbarkeit bedeutet, steht unter KI-Crawler.

Welche Crawler besuchen meine Website?

Neben dem Googlebot in seinen Varianten typischerweise Bingbot, Applebot, die Crawler der SEO-Werkzeuge und die Bots der KI-Anbieter. Welche es bei Ihnen sind, steht in den Serverprotokollen; die Kennung im Abruf lässt sich fälschen und bei Google über eine Rückwärtsauflösung der IP-Adresse überprüfen.

Meine Seite ist crawlbar, wird aber nicht indexiert — warum?

Der Status „Gecrawlt, zurzeit nicht indexiert“ heißt in der Regel: Google hat die Seite gesehen und hält sie für nicht relevant genug oder für weitgehend deckungsgleich mit anderen Seiten. Das ist kein technisches, sondern ein inhaltliches Problem — dünne Texte, Varianten desselben Inhalts, fehlende interne Verlinkung.

Wie oft wird meine Website gecrawlt?

Das hängt von Größe, Aktualisierungsrhythmus und Serverleistung ab und lässt sich nicht einstellen. Die Crawling-Statistik in der Search Console zeigt den tatsächlichen Verlauf. Websites, die regelmäßig neue Inhalte veröffentlichen, werden meist häufiger besucht.

Hilft eine Sitemap gegen Crawling-Probleme?

Sie hilft beim Entdecken, ersetzt aber keine interne Verlinkung. Eine Seite, die ausschließlich in der Sitemap steht, gilt als schwach — sie wird gefunden, aber selten für wichtig gehalten.

Schaden viele Unterseiten der Crawlability?

Nicht die Anzahl ist das Problem, sondern der Anteil an Adressen ohne eigenen Wert. Tausend eigenständige Produktseiten sind unkritisch, tausend Filterkombinationen derselben Liste binden Abrufe ohne Gegenwert.

Zusammenfassung

Crawlability ist die Voraussetzung für alles andere: Was nicht abgerufen wird, wird nicht bewertet und erscheint nicht in den Suchergebnissen. Die Hebel sind überschaubar: eine korrekte robots.txt mit bewussten Gruppen je Kennung, eine gepflegte Sitemap, echte Links in echtem HTML, saubere Statuscodes, kurze Antwortzeiten und eine flache Struktur. Gedrosselt wird nur im Notfall, und dann auf Serverebene statt per Crawl-delay. Geprüft wird aus fünf Richtungen: Search Console, robots.txt, eigener Crawl, Serverprotokoll und Quelltext; die Indexierbarkeit bekommt danach ihre eigene Gegenprobe. Crawling, Indexierung und Seitenstruktur prüfen wir im SEO-Audit und beheben die Befunde direkt im Code — als Teil der technischen SEO-Betreuung oder im laufenden Betrieb.