User-agent
Beginnt eine Gruppe und nennt den Crawler. Der Stern steht für alle Crawler, die keine eigene Gruppe haben. Die Schreibweise der Kennung ist beliebig, Groß- und Kleinschreibung spielt hier keine Rolle.
Kostenloses Tool Ohne Anmeldung
robots.txt-Generator für Ihre Website
Die robots.txt ist die erste Datei, die ein Crawler von Ihrer Domain liest. Sie regelt, welche Verzeichnisse abgerufen werden dürfen — von Googlebot bis GPTBot — und nennt Ihre Sitemap. Hier stellen Sie die Regeln über ein Formular zusammen, sehen die Datei live mitwachsen und laden sie fertig herunter.
- Läuft nur im BrowserIhre Eingaben verlassen Ihren Rechner nicht und werden nirgends gespeichert.
- Suchmaschinen, KI und LinksammlerGooglebot, Bingbot, GPTBot, ClaudeBot, PerplexityBot, die Training-Kennungen und die Linkdatenbank-Crawler von SemrushBot bis AhrefsBot stehen zur Auswahl.
- Warnt vor dem großen FehlerEin Disallow, das die ganze Website sperrt, wird benannt, bevor Sie die Datei hochladen.
Generator
robots.txt zusammenstellen
Links wählen Sie eine Vorlage und passen die Regeln an, rechts entsteht die Datei live mit. Zum Ausprobieren ist die Vorlage für eine normale Website mit erfundener Domain vorausgefüllt.
2. Regeln anpassen
Ein Pfad pro Zeile, immer mit / am Anfang. Die Beispieldaten sind frei erfunden.
Steht nur im Kommentar oben in der Datei. Die Regeln selbst gelten immer nur für diese eine Domain.
Gruppe 1
Allow sticht Disallow, wenn es genauer passt — damit holen Sie eine einzelne Datei aus einem gesperrten Ordner zurück.
3. Ihre robots.txt
# robots.txt für ihre-firma.de
# erstellt mit dem kostenlosen robots.txt-Generator von seodach.de
User-agent: *
Disallow: /wp-admin/
Disallow: /intern/
Disallow: /suche
Disallow: /*?s=
Allow: /wp-admin/admin-ajax.php
Sitemap: https://ihre-firma.de/sitemap.xml
Wohin die Datei gehört
Direkt in das Wurzelverzeichnis Ihrer Domain, erreichbar unter ihre-firma.de/robots.txt. Ein Unterordner wird nicht gelesen, und jede Subdomain braucht ihre eigene Datei. 5 Regelzeilen sind gerade enthalten.
Die Datei ist in sich schlüssig
Prüfen Sie die hochgeladene Datei danach im robots.txt-Bericht der Google Search Console: dort steht, was Google wirklich gelesen hat.
Unsicher, was gesperrt werden darf?
Eine falsche Zeile nimmt eine ganze Website aus der Suche. Wir prüfen Ihre robots.txt zusammen mit Indexierung, Sitemap und noindex — und sagen, welche Seiten wirklich raus sollen.
robots.txt prüfen lassenLieber direkt sprechen? (0) 89 24 8853 444 WhatsApp
Anleitung
So bringen Sie die Datei auf Ihre Website
Schritt 1: Vorlage als Ausgangspunkt nehmen
Normale Website, Onlineshop, KI-Crawler zulassen, KI-Crawler ausschließen oder «KI zulassen, Linkdatenbanken sperren» — letztere ist die Politik dieser Website. Danach passen Sie die Pfade an: gesperrt wird, was keinen Nutzen in der Suche hat, etwa Verwaltung, interne Bereiche und Such- und Filterseiten.
Schritt 2: Gruppen je Crawler bilden
Eine Gruppe beginnt mit User-agent und gilt genau für die genannten Crawler. Ein Crawler befolgt immer nur die eine Gruppe, die am genauesten auf ihn passt — steht er in zwei Gruppen, verfällt eine davon stillschweigend.
Schritt 3: Sitemap ergänzen
Die Zeile Sitemap mit vollständiger Adresse gilt für alle Crawler und steht unabhängig von den Gruppen am Ende der Datei. Das ist der einfachste Weg, Ihre Seitenliste bekannt zu machen, auch ohne Search Console.
Schritt 4: Hochladen und prüfen
Die Datei gehört in das Wurzelverzeichnis der Domain und muss unter ihre-domain.de/robots.txt erreichbar sein. Jede Subdomain braucht ihre eigene. Danach den robots.txt-Bericht der Google Search Console öffnen: dort steht, was Google gelesen hat.
Welche Zeile wofür?
Die Anweisungen im Überblick
Disallow
Sperrt einen Pfad für den Abruf. Der Pfad beginnt immer mit einem Schrägstrich und steht ohne Domain. Ein leeres Disallow erlaubt ausdrücklich alles — ein häufiger Grund, warum eine Datei wirkungslos bleibt.
Allow
Nimmt eine Ausnahme von einem Disallow zurück. Es gewinnt, wenn es genauer passt als die Sperre: so holen Sie eine einzelne Datei aus einem gesperrten Ordner zurück, etwa /wp-admin/admin-ajax.php.
Platzhalter * und $
Der Stern steht für beliebige Zeichen, das Dollarzeichen für das Ende der Adresse. /*?sort= trifft alle Sortier-Adressen, /*.pdf$ alle PDF-Dateien. Google und Bing verstehen beides, kleinere Crawler nicht immer.
Sitemap
Nennt die vollständige Adresse Ihrer Sitemap, mit https:// und Domain. Die Zeile gehört zu keiner Gruppe und darf mehrfach vorkommen, wenn Sie mehrere Sitemaps haben.
Crawl-delay
Pause in Sekunden zwischen zwei Abrufen. Bing und Yandex halten sich daran, Google ignoriert die Zeile und regelt die Frequenz selbst. Sinnvoll nur, wenn ein Crawler Ihren Server wirklich belastet.
Häufige Fehler
Was in der robots.txt regelmäßig schiefgeht
Disallow: / bleibt nach dem Umzug stehen: die Zeile aus der Testumgebung geht mit auf den Livebetrieb und nimmt die komplette Website aus der Suche. Der häufigste und teuerste Fehler überhaupt.
Gesperrt heißt nicht entfernt: eine per Disallow gesperrte Seite kann weiter in den Ergebnissen stehen — ohne Beschreibung, weil Google den Inhalt nicht lesen darf, aber die Adresse kennt.
noindex in der robots.txt: Google hat die Unterstützung 2019 beendet. Die Anweisung gehört als Meta-Tag auf die Seite selbst, und die Seite darf dafür nicht gesperrt sein.
Ein Crawler, zwei Gruppen: nur die genaueste Gruppe gilt. Wer Googlebot einmal im Stern und einmal einzeln behandelt, verliert die Angaben der allgemeinen Gruppe für ihn.
Gesperrte CSS- und JavaScript-Dateien: Google rendert Ihre Seiten. Wer /assets/ oder /wp-includes/ komplett sperrt, lässt Google eine kaputte Seite sehen.
Passwörter und interne Pfade als Disallow aufzählen: die robots.txt ist öffentlich. Sie weist damit jeden Neugierigen genau auf die Verzeichnisse hin, die Sie verbergen wollten.
Eine Seite wirklich aus dem Index nehmen können Sie nicht über die robots.txt, sondern über noindex ; welche Seiten ein Crawler überhaupt erreicht, erklärt Was ist Crawlability? im Wiki-Lexikon. Soll das Teil einer vollständigen technischen Prüfung werden, finden Sie unser Vorgehen unter SEO-Audit.
robots.txt, Sitemap und noindex zusammen gedacht
Die Datei allein entscheidet nicht, was in der Suche steht. Entscheidend ist das Zusammenspiel: robots.txt regelt den Abruf, noindex die Aufnahme in den Index, die Sitemap die Seitenliste, und die Search Console zeigt, was davon ankommt. Wir prüfen diese vier Punkte an Ihrer Website und sagen Ihnen, welche Seiten wirklich raus sollen.
Fragen und Antworten
Häufige Fragen zur robots.txt
Was ist ein robots.txt-Generator?
Ein Werkzeug, das aus Formularangaben die Textdatei robots.txt in der richtigen Syntax erzeugt: Gruppen aus User-agent, Disallow und Allow, dazu die Sitemap-Zeile. Sie müssen das Format nicht kennen und laden das Ergebnis direkt als Datei herunter.
Ist der Generator kostenlos?
Ja. Sie brauchen kein Konto und keine E-Mail-Adresse. Die Datei entsteht vollständig in Ihrem Browser, es werden keine Eingaben an einen Server geschickt oder gespeichert.
Nimmt die robots.txt eine Seite aus Google heraus?
Nein. Sie verbietet nur den Abruf. Eine gesperrte Seite kann weiter in den Ergebnissen erscheinen, wenn Google die Adresse von anderswo kennt — dann ohne Beschreibung. Zum Entfernen gehört noindex auf die Seite selbst, und dafür muss Google sie lesen dürfen.
Wohin gehört die Datei?
In das Wurzelverzeichnis der Domain, erreichbar unter ihre-domain.de/robots.txt. Aus einem Unterordner wird sie nicht gelesen. Jede Subdomain und jedes Protokoll gilt als eigene Adresse und braucht eine eigene Datei.
Wie sperre ich KI-Crawler aus?
Mit einer eigenen Gruppe für die Kennungen der Anbieter: GPTBot, OAI-SearchBot und ChatGPT-User für OpenAI, ClaudeBot für Anthropic, PerplexityBot, dazu die reinen Training-Kennungen Google-Extended, Applebot-Extended und CCBot. Die Vorlage «KI-Crawler ausschließen» setzt das fertig ein.
Sollte ich KI-Crawler überhaupt sperren?
Das ist eine Geschäftsentscheidung. Wer in ChatGPT, Perplexity und den KI-Antworten von Google genannt werden will, lässt die Suche-Crawler herein und sperrt höchstens das reine Training. Wer eigene Inhalte als Produkt verkauft, entscheidet oft umgekehrt. Beides lässt sich getrennt regeln.
Was sind Linkdatenbank-Crawler, und soll ich sie sperren?
Kennungen wie SemrushBot, MJ12bot, DotBot, PetalBot, BLEXBot, serpstatbot und Barkrowler sammeln Links für die SEO-Datenbanken ihrer Anbieter. Sie bringen keine Besucher, keinen Eintrag im Index und keine Nennung in KI-Antworten, kosten aber Serverlast — wer die Daten nicht selbst auswertet, kann sie sperren. Eine Ausnahme ist das Werkzeug, mit dem Sie Ihre eigenen Links messen: AhrefsBot bleibt auf dieser Website offen, bekommt aber ein Crawl-delay und darf die reinen Technik-Adressen nicht abrufen. Die Vorlage «KI zulassen, Linkdatenbanken sperren» stellt genau das ein.
Halten sich alle Crawler daran?
Nein. Die robots.txt ist eine Bitte, keine Sperre. Seriöse Anbieter befolgen sie, andere nicht. Was wirklich geschützt werden muss, gehört hinter ein Passwort oder eine Server-Regel, nicht in eine öffentliche Textdatei.
Weiterlesen und vertiefen
Was ist die robots.txt?Aufbau, Syntax und Grenzen der Datei verständlich erklärt.Weiterlesen Was ist noindex?Der richtige Weg, eine Seite aus dem Index zu nehmen — und warum robots.txt das nicht kann.Weiterlesen Was sind KI-Crawler?Welche Kennungen es gibt, was sie holen und was Sie damit steuern.Weiterlesen llms.txt-GeneratorDie Gegenrichtung: KI-Diensten zeigen, welche Seiten Ihre wichtigsten sind.Tool öffnen SEO für Ihr UnternehmenTechnik, Inhalte und Sichtbarkeit aus einer Hand, mit messbaren Zielen.Zur Leistung SEO-Audit Ihrer WebsiteIndexierung, robots.txt, Sitemap und Technik auf einmal geprüft.Zur Leistung
Lassen Sie uns über Ihre Abläufe sprechen
Erzählen Sie uns, wo es heute hakt. Im Erstgespräch zeigen wir, welcher Schritt sich in Ihrem Unternehmen zuerst lohnt — und was er kostet.
So geht es weiter
Sie schreiben uns kurz, worum es geht — per Formular, Telefon oder WhatsApp.
Wir melden uns mit Terminvorschlägen und klären im Gespräch, wo Zeit und Geld verloren gehen.
Sie erhalten einen klaren Vorschlag: Umfang, Zeitplan und Preis — danach entscheiden Sie.
Schreiben oder anrufen
Schreiben Sie kurz, worum es geht, oder rufen Sie an. Wir melden uns mit Terminvorschlägen.
Erstgespräch vereinbaren