Robots.txt Generator
Erstellen Sie benutzerdefinierte Robots.txt-Dateien, um das Crawlen Ihrer Website durch Suchmaschinen optimal zu steuern.
Optionen
robots.txt
User-agent: Googlebot
Disallow:Ich bin mir bewusst, dass ich den Robots.txt-Generator auf eigene Gefahr nutze. SEODACH übernimmt keine Haftung für Fehler oder fehlende Indexierung der Website.
Robots.txt Generator — Crawling steuern und SEO verbessern
Die Robots.txt-Datei ist eine der wichtigsten technischen SEO-Dateien auf jeder Website. Sie liegt im Stammverzeichnis Ihrer Domain (z. B. https://beispiel.de/robots.txt) und teilt Suchmaschinen-Crawlern mit, welche Bereiche Ihrer Website sie besuchen dürfen — und welche nicht.
Unser kostenloser Robots.txt Generator erstellt eine vollständige, syntaktisch korrekte Robots.txt-Datei mit wenigen Klicks. Wählen Sie aus Voreinstellungen (Allow All / Disallow All), konfigurieren Sie einzelne Bots, legen Sie Allow- und Disallow-Regeln fest und binden Sie Ihre Sitemap ein. Die fertige Datei können Sie direkt kopieren oder als .txt-Datei herunterladen.
Was ist eine Robots.txt-Datei?
Die Robots.txt-Datei folgt dem „Robots Exclusion Protocol" (REP) — einem Standard, der seit 1994 von allen großen Suchmaschinen respektiert wird. Sie enthält einfache Regeln in Textform, die bestimmen:
- User-agent: Für welchen Crawler die Regel gilt (z. B. Googlebot, Bingbot, oder „*" für alle)
- Disallow: Welche Pfade der Crawler NICHT besuchen darf (z. B. /admin/, /wp-login.php)
- Allow: Welche Pfade trotz einer übergeordneten Disallow-Regel erlaubt sind
- Sitemap: Der Pfad zu Ihrer XML-Sitemap, damit Suchmaschinen alle Seiten effizient finden
Warum brauchen Sie eine Robots.txt?
Crawl-Budget optimieren
Google hat ein begrenztes Budget zum Crawlen Ihrer Website. Blockieren Sie unwichtige Bereiche (Admin, Suche, Filter-Seiten), damit Google seine Ressourcen auf Ihre wichtigen Seiten konzentriert.
Duplicate Content vermeiden
Sperren Sie druckbare Versionen, Sortier-Parameter und Session-URLs, die identische Inhalte unter verschiedenen URLs zugänglich machen und zu Duplicate-Content-Problemen führen können.
Sensible Bereiche schützen
Verhindern Sie, dass interne Bereiche wie Admin-Panels, Staging-Seiten oder Testumgebungen in den Google-Index gelangen. Beachten Sie: Robots.txt ist kein Sicherheitsmechanismus — verwenden Sie zusätzlich noindex oder Passwortschutz.
Sitemap bekannt machen
Die Sitemap-Direktive in der Robots.txt ist der schnellste Weg, Suchmaschinen den Pfad zu Ihrer XML-Sitemap mitzuteilen — noch vor der Registrierung in der Google Search Console.
Typische Robots.txt-Konfigurationen
Standard-Website (alles erlauben + Sitemap)
User-agent: * Disallow: Sitemap: https://beispiel.de/sitemap.xml
WordPress-Website (Admin und Suche blockieren)
User-agent: * Disallow: /wp-admin/ Disallow: /?s= Disallow: /wp-login.php Allow: /wp-admin/admin-ajax.php Sitemap: https://beispiel.de/sitemap.xml
Online-Shop (Filter und Parameter blockieren)
User-agent: * Disallow: /warenkorb/ Disallow: /kasse/ Disallow: /*?sort= Disallow: /*?filter= Disallow: /suche/ Sitemap: https://beispiel.de/sitemap.xml
Wichtige Suchmaschinen-Bots
Häufig gestellte Fragen
Wo muss die Robots.txt-Datei liegen?
Immer im Stammverzeichnis (Root) Ihrer Domain: https://ihre-domain.de/robots.txt. Unterverzeichnisse werden ignoriert. Bei Subdomains braucht jede Subdomain ihre eigene Robots.txt.
Ist Robots.txt ein Sicherheitsmechanismus?
Nein. Die Robots.txt ist eine Empfehlung, kein Zugriffsschutz. Bösartige Bots und Nutzer können blockierte URLs trotzdem aufrufen. Für echten Schutz verwenden Sie Passwortschutz (htpasswd), noindex-Meta-Tags oder IP-basierte Zugriffsbeschränkungen.
Kann eine falsche Robots.txt meine Website aus Google entfernen?
Ja. Ein Disallow: / für alle User-agents blockiert das gesamte Crawling und führt dazu, dass Ihre Seiten aus dem Google-Index verschwinden. Testen Sie Ihre Robots.txt immer in der Google Search Console, bevor Sie sie live schalten.
Brauche ich eine Robots.txt, wenn ich eine Sitemap habe?
Ja. Sitemap und Robots.txt erfüllen verschiedene Funktionen. Die Sitemap zeigt Google, welche Seiten existieren. Die Robots.txt steuert, welche Seiten gecrawlt werden dürfen. Im Idealfall verweist die Robots.txt auf die Sitemap — so ergänzen sich beide Dateien optimal.
Wie teste ich meine Robots.txt?
Nutzen Sie den Robots.txt-Tester in der Google Search Console (unter „Einstellungen" → „robots.txt"). Dort können Sie prüfen, ob bestimmte URLs blockiert oder erlaubt sind, und Syntax-Fehler werden automatisch hervorgehoben.
Weitere SEO-Tools
Bereit, Ihr Unternehmen digital voranzubringen?
Erzählen Sie uns von Ihrem Vorhaben. In einem kostenlosen Erstgespräch analysieren wir Ihre Situation und zeigen Ihnen konkrete Möglichkeiten — unverbindlich.
Kostenlose Beratung anfordern
Zu Beginn können Sie ganz einfach eine Anfrage zur Zusammenarbeit bei uns hinterlassen.
Wir kontaktieren Sie alsbald für weitere Details und Informationen.
Unser erfahrenes Team beginnt direkt mit der Arbeit, analysiert Ihren Fall und erstellt Ihnen eine umfassende Lösung.
Sie möchten direkt eine Beratung vereinbaren?
Wir freuen uns darauf, Sie und Ihr Team bei einem gemeinsamen Gespräch kennenzulernen!