Was ist Robots.txt?

Die robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Suchmaschinen-Crawlern Anweisungen gibt, welche Bereiche der Website sie crawlen dürfen und welche nicht. Sie folgt dem Robots Exclusion Protocol.

Aufbau einer robots.txt

Die robots.txt besteht aus einfachen Regeln:

• User-agent: Gibt an, für welchen Crawler die Regel gilt (* = alle)
• Disallow: Pfade, die nicht gecrawlt werden sollen
• Allow: Pfade, die explizit erlaubt sind (überschreibt Disallow)
• Sitemap: Verweis auf die XML-Sitemap

Häufige Anwendungsfälle

• Admin-Bereiche und Login-Seiten vom Crawling ausschließen
• Duplicate Content vermeiden (z.B. Druckversionen, Parameter-URLs)
• Crawl-Budget effizient nutzen
• Suchmaschinen auf die Sitemap hinweisen

Wichtige Hinweise

• Die robots.txt verhindert nicht die Indexierung — sie verhindert nur das Crawling
• Verwenden Sie den Meta-Tag „noindex“, um Seiten aus dem Index zu entfernen
• Sensible Daten sollten durch Authentifizierung geschützt werden, nicht durch robots.txt
• Testen Sie Ihre robots.txt mit dem Google-Tool für die robots.txt-Prüfung

robots.txt und SEO

Eine korrekt konfigurierte robots.txt hilft Suchmaschinen, das Crawl-Budget effizient zu nutzen. Fehler in der robots.txt können dazu führen, dass wichtige Seiten nicht gecrawlt und somit nicht indexiert werden.

Zusammenfassung

Die robots.txt ist ein einfaches, aber mächtiges Werkzeug zur Steuerung des Suchmaschinen-Crawlings. Eine sorgfältige Konfiguration ist essentiell für eine erfolgreiche SEO.