Was ist Robots.txt?
Die robots.txt-Datei steuert, welche Bereiche einer Website von Suchmaschinen gecrawlt werden dürfen. Erfahren Sie, wie Sie robots.txt richtig konfigurieren.
Inhaltsverzeichnis
Die robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Suchmaschinen-Crawlern Anweisungen gibt, welche Bereiche der Website sie crawlen dürfen und welche nicht. Sie folgt dem Robots Exclusion Protocol.
Aufbau einer robots.txt
Die robots.txt besteht aus einfachen Regeln:
- User-agent: Gibt an, für welchen Crawler die Regel gilt (* = alle)
- Disallow: Pfade, die nicht gecrawlt werden sollen
- Allow: Pfade, die explizit erlaubt sind (überschreibt Disallow)
- Sitemap: Verweis auf die XML-Sitemap
Häufige Anwendungsfälle
- Admin-Bereiche und Login-Seiten vom Crawling ausschließen
- Duplicate Content vermeiden (z.B. Druckversionen, Parameter-URLs)
- Crawl-Budget effizient nutzen
- Suchmaschinen auf die Sitemap hinweisen
Wichtige Hinweise
- Die robots.txt verhindert nicht die Indexierung — sie verhindert nur das Crawling
- Verwenden Sie den Meta-Tag „noindex“, um Seiten aus dem Index zu entfernen
- Sensible Daten sollten durch Authentifizierung geschützt werden, nicht durch robots.txt
- Testen Sie Ihre robots.txt mit dem Google-Tool für die robots.txt-Prüfung
robots.txt und SEO
Eine korrekt konfigurierte robots.txt hilft Suchmaschinen, das Crawl-Budget effizient zu nutzen. Fehler in der robots.txt können dazu führen, dass wichtige Seiten nicht gecrawlt und somit nicht indexiert werden.
Zusammenfassung
Die robots.txt ist ein einfaches, aber mächtiges Werkzeug zur Steuerung des Suchmaschinen-Crawlings. Eine sorgfältige Konfiguration ist essentiell für eine erfolgreiche SEO.
Brauchen Sie Unterstützung?
Unsere Experten helfen Ihnen, die richtigen SEO- und Digitalstrategien für Ihr Unternehmen umzusetzen.
Kostenlos beraten lassenWeitere Artikel im Wiki-Lexikon
Was ist Crawlability?
Crawlability bezeichnet die Fähigkeit von Suchmaschinen, die Seiten einer Website zu finden und zu durchsuchen. Erfahren Sie, wie Sie die Crawlability verbesser
Was ist eine Landingpage?
Eine Landingpage ist eine speziell gestaltete Webseite, die Besucher zu einer bestimmten Aktion bewegen soll. Erfahren Sie, wie Sie effektive Landingpages erste
Was ist Localhost?
Localhost bezeichnet den eigenen Computer als Server. Erfahren Sie, wie Localhost in der Webentwicklung genutzt wird und was die IP-Adresse 127.0.0.1 bedeutet.
Was ist ein Nofollow-Link?
Ein Nofollow-Link ist ein Hyperlink mit dem Attribut rel="nofollow", der keine Linkautorität an die verlinkte Seite weitergibt. Erfahren Sie, wann Nofollow sinn