Was ist das Crawl-Budget?

Das Crawl-Budget ist die Menge an Seiten, die ein Suchmaschinen-Crawler auf einer Website in einem bestimmten Zeitraum abrufen kann und will. Es ergibt sich aus der Belastbarkeit Ihres Servers und dem Interesse, das Google an Ihren Inhalten hat.

Für die meisten Firmenwebsites mit einigen Hundert Seiten ist das Crawl-Budget kein Engpass. Wichtig wird es bei großen Shops, Portalen und Katalogen — und überall dort, wo technische Fehler aus wenigen echten Seiten Tausende Adressen machen.

Die zwei Bestandteile: Crawl-Kapazität und Crawl-Bedarf

Google beschreibt das Crawl-Budget als Zusammenspiel von zwei Größen.

• Crawl-Kapazität (Crawl-Rate-Limit). Wie viele Abrufe verträgt der Server, ohne langsamer zu werden? Antwortet er schnell und fehlerfrei, erhöht Google die Crawl-Rate. Häufen sich Zeitüberschreitungen oder Fehler aus der 5xx-Reihe, drosselt Google von sich aus.
• Crawl-Bedarf (Crawl Demand). Wie lohnend erscheinen die Seiten? Beliebte Adressen, die oft verlinkt werden, und Inhalte, die sich häufig ändern, ruft Google öfter ab. Veraltete oder doppelte Seiten seltener.

Das tatsächliche Budget ist das Kleinere von beidem. Ein schneller Server nützt wenig, wenn Google kein Interesse an den Seiten hat. Umgekehrt bremst ein langsamer Server auch gefragte Inhalte aus.

Wann das Crawl-Budget zählt — und wann nicht

Google selbst nennt als Richtwert Websites mit mehr als einer Million Seiten, die sich wöchentlich ändern, oder mit mehr als zehntausend Seiten, die sich täglich ändern. Dazu kommen Websites, bei denen ein großer Teil der Adressen in der Search Console als „gefunden, zurzeit nicht indexiert“ erscheint.

Wer eine kleine Website hat und trotzdem Seiten vermisst, sucht die Ursache fast immer bei der Crawlability: gesperrte Pfade, fehlende interne Links oder noindex an der falschen Stelle.

Was das Crawl-Budget verschwendet

• Filter und Sortierungen. Jede Kombination aus Farbe, Größe, Preis und Reihenfolge ist eine eigene Adresse mit fast gleichem Inhalt.
• URL-Parameter. Sitzungskennungen, Kampagnenmarker und Tracking-Anhänge erzeugen Duplikate derselben Seite.
• Doppelte Inhalte. Druckversionen, Adressen mit und ohne Schrägstrich am Ende, http und https nebeneinander. Mehr dazu unter Duplicate Content.
• Weiterleitungsketten. Jeder Sprung kostet einen Abruf. Wie Sie Ketten vermeiden, zeigt der Artikel zur 301-Weiterleitung.
• Endlose Räume. Kalender mit einem „nächsten Monat“ ohne Ende, interne Suchergebnisseiten, automatisch erzeugte Schlagwortseiten.
• Soft-404-Seiten. Leere Seiten, die mit Status 200 antworten, werden immer wieder abgerufen.

Crawl-Tiefe: wie weit der Crawler vordringt

Die Crawl-Tiefe (auch Klicktiefe) gibt an, wie viele Klicks eine Seite von der Startseite entfernt liegt. Eine Leistungsseite, die man von der Startseite in zwei Klicks erreicht, gilt als wichtig und wird oft abgerufen. Eine Produktseite auf Ebene sechs, erreichbar nur über Seite 14 einer Kategorie, wird selten oder gar nicht besucht.

Als Faustregel sollten wichtige Seiten nicht tiefer als drei bis vier Klicks liegen. Hilfreich sind flache Kategorien, Querverweise zwischen verwandten Seiten und Übersichtsseiten, die direkt auf zentrale Inhalte verlinken. Eine vollständige Sitemap ergänzt die interne Verlinkung, ersetzt sie aber nicht.

Ein typisches Beispiel aus dem Mittelstand

Ein Großhändler stellt seinen Katalog online: einige Tausend Artikel, jeweils mit Filtern nach Hersteller, Material, Größe und Preis. Jeder Filter lässt sich mit jedem kombinieren, dazu kommen drei Sortierungen und eine Seitennummerierung. Aus wenigen Tausend echten Seiten werden so Hunderttausende Adressen. Der Crawler arbeitet sich durch Filterkombinationen, während neue Artikel und geänderte Preise wochenlang auf ihren Abruf warten. Die Lösung liegt nicht in mehr Serverleistung, sondern darin, dem Crawler nur die Adressen anzubieten, die in der Suche gebraucht werden.

Crawl-Budget optimieren

1. Server schnell halten. Kurze Antwortzeiten erhöhen die Crawl-Rate unmittelbar.
2. Unnötige Adressen sperren. Filter- und Parameterräume, die niemand in der Suche braucht, schließen Sie per robots.txt vom Abruf aus.
3. Duplikate zusammenführen. Eine Hauptversion pro Inhalt, Varianten per Canonical-Tag oder Weiterleitung darauf lenken.
4. Tote Seiten sauber beenden. Endgültig entfernte Inhalte mit 404 oder 410 beantworten statt mit einer leeren Seite.
5. Sitemap pflegen. Nur indexierbare Adressen mit Status 200, mit korrektem Änderungsdatum.

Ob die Maßnahmen wirken, zeigt der Bericht „Crawling-Statistiken“ in den Einstellungen der Search Console: Anzahl der Abrufe pro Tag, durchschnittliche Antwortzeit und Anteil der Statuscodes.

In der Praxis: Was SEODACH übernimmt

Bei Katalogen, Portalen und Shops sehen wir oft dasselbe Bild: Die Search Console kennt ein Vielfaches der echten Seiten, und neue Einträge brauchen Wochen bis in den Index. Wir werten die Crawling-Statistiken aus, finden die Stellen, an denen Adressen wuchern, und räumen sie auf. So verbringt Google seine Zeit auf den Seiten, die Anfragen bringen, und neue Inhalte erscheinen schneller in der Suche. Diese Analyse gehört zu unserer Suchmaschinenoptimierung.

Häufige Fragen

Wie hoch ist mein Crawl-Budget?

Eine feste Zahl nennt Google nicht. Einen guten Anhaltspunkt liefern die Crawling-Statistiken in der Search Console: Die durchschnittlichen Abrufe pro Tag zeigen, wie viel Aufmerksamkeit Ihre Website bekommt.

Kann ich das Crawl-Budget erhöhen?

Indirekt. Ein schneller, fehlerfreier Server hebt die Obergrenze. Gefragte, gut verlinkte und aktuelle Inhalte erhöhen den Bedarf. Eine Einstellung zum Hochdrehen gibt es nicht.

Spart noindex Crawl-Budget?

Kaum. Seiten mit noindex müssen abgerufen werden, damit Google die Anweisung liest. Wer Abrufe sparen will, sperrt die Adressen in der robots.txt — nimmt dann aber in Kauf, dass sie nicht sicher aus dem Index verschwinden.