Robots.txt Generator

Erstellen und validieren Sie robots.txt-Dateien für Ihre Website.

Schnellvorlagen

User-Agent-Regeln

User-Agent

Optionen

Sitemap-URLs

Crawl-Delay anzeigen

Verzögerung zwischen Crawler-Anfragen hinzufügen (in Sekunden)

Ihre robots.txt ist gültig

Generierte robots.txt

# robots.txt generated by Toolbox
# Generated on: 2026-01-02

User-agent: *
Disallow:

Verwendung

Konfigurieren Sie User-Agent-Regeln mit den Vorlagen oder manuellen Optionen
Fügen Sie Sitemap-URLs hinzu, um Suchmaschinen zu helfen, Ihre Inhalte zu entdecken
Kopieren Sie den generierten robots.txt-Inhalt
Speichern Sie ihn als robots.txt im Stammverzeichnis Ihrer Website

Was ist robots.txt?

Robots.txt ist eine Textdatei im Stammverzeichnis Ihrer Website, die Web-Crawlern mitteilt, welche Seiten oder Bereiche sie zugreifen können oder nicht. Sie ist Teil des Robots Exclusion Protocol (REP), einem Standard, den Websites zur Kommunikation mit Web-Crawlern und Bots verwenden. Diese Datei ist essenziell für SEO, da sie hilft zu steuern, wie Suchmaschinen Ihre Website indexieren.

Warum ist robots.txt wichtig für SEO?

Eine ordnungsgemäß konfigurierte robots.txt-Datei ist entscheidend für Suchmaschinenoptimierung und Website-Management:

Leitet Suchmaschinen-Crawler zu Ihren wichtigsten Seiten und verbessert die Indexierungseffizienz
Optimiert Ihr Crawl-Budget, indem Bots keine Zeit mit unwichtigen Seiten verschwenden
Schützt sensible Verzeichnisse wie Admin-Panels, Benutzerdaten und interne Tools vor Indexierung
Reduziert Serverlast durch Blockieren aggressiver Bots und Setzen von Crawl-Delays

Robots.txt-Direktiven verstehen

User-agent: Gibt an, für welchen Bot die Regeln gelten. Verwenden Sie * (Sternchen) für alle Bots
Allow: Erlaubt explizit Zugriff auf bestimmte Pfade, nützlich in Kombination mit Disallow-Regeln
Disallow: Blockiert Zugriff auf bestimmte Pfade. Ein leerer Wert bedeutet, nichts ist blockiert
Sitemap: Verweist Crawler auf Ihren XML-Sitemap-Speicherort für bessere Content-Entdeckung
Crawl-delay: Setzt Sekunden zwischen Anfragen. Hinweis: Google ignoriert diese Direktive

Pfad-Pattern-Matching in Robots.txt

Verwenden Sie * als Wildcard, um jede Zeichenfolge zu matchen (z.B. /*.pdf blockiert alle PDF-Dateien)
Verwenden Sie $ um das Ende einer URL genau zu matchen (z.B. /*.php$ blockiert PHP-Dateien)
Trailing Slash /pfad/ matcht das Verzeichnis und alle seine Inhalte rekursiv
Kein Trailing Slash /pfad matcht nur diesen spezifischen Pfad, nicht Unterverzeichnisse

Häufige Robots.txt-Fehler zu vermeiden

Robots.txt in einem Unterverzeichnis statt der Root-Domain platzieren (muss bei ihredomain.de/robots.txt sein)
Versehentliches Blockieren von CSS, JavaScript oder Bildern, die Suchmaschinen zum Rendern Ihrer Seiten benötigen
Vergessen, Sitemap-URLs einzufügen, die Crawlern helfen, alle Ihre Seiten zu entdecken
Falsche Groß-/Kleinschreibung verwenden - Pfade sind auf den meisten Servern case-sensitiv
Widersprüchliche Regeln erstellen, die Crawler verwirren, welche Pfade erlaubt sind

KI-Training-Bots blockieren

Mit dem Aufstieg der KI wollen viele Websites verhindern, dass ihre Inhalte für KI-Training verwendet werden. Hier sind die wichtigsten KI-Crawler zum Blockieren:

GPTBot und ChatGPT-User: OpenAIs Crawler für Training und Browsing. Blockieren Sie beide, um OpenAI-Zugriff zu verhindern
Claude-Web und anthropic-ai: Anthropics Crawler. Blockieren Sie, um Claude-KI-Training an Ihren Inhalten zu verhindern
CCBot: Common Crawls Bot, dessen Daten von vielen KI-Unternehmen für Trainingsdatensätze verwendet werden

Robots.txt Best Practices

Platzieren Sie robots.txt immer im Stammverzeichnis Ihrer Domain (z.B. https://example.com/robots.txt)
Denken Sie daran, dass Pfade auf den meisten Webservern case-sensitiv sind
Testen Sie Ihre robots.txt mit dem robots.txt-Tester der Google Search Console vor dem Deployment
Fügen Sie immer Ihre Sitemap-URL ein, um Crawlern zu helfen, alle Ihre Inhalte zu entdecken
Halten Sie Regeln einfach und spezifisch - zu komplexe Regeln können unerwartetes Verhalten verursachen
Überwachen Sie regelmäßig Crawl-Statistiken in der Google Search Console, um ordnungsgemäße Indexierung sicherzustellen

Häufig gestellte Fragen

Blockiert robots.txt tatsächlich Seiten vom Erscheinen in Suchergebnissen?

Nein, robots.txt verhindert nur das Crawlen, nicht das Indexieren. Seiten können immer noch in Suchergebnissen erscheinen, wenn sie von anderen Websites verlinkt werden. Um Indexierung wirklich zu blockieren, verwenden Sie das noindex-Meta-Tag oder den X-Robots-Tag HTTP-Header.

Wie schnell lesen Suchmaschinen aktualisierte robots.txt-Dateien?

Die meisten Suchmaschinen cachen robots.txt für etwa 24 Stunden. Google aktualisiert seinen Cache typischerweise täglich, aber Sie können über die Search Console einen erneuten Crawl für schnellere Updates anfordern.

Kann ich robots.txt verwenden, um sensible Informationen zu verstecken?

Nein, robots.txt ist öffentlich zugänglich und nur ein Vorschlag für wohlerzogene Bots. Böswillige Akteure können es ignorieren. Für sensible Daten verwenden Sie ordnungsgemäße Authentifizierung, Firewalls oder Server-Level-Beschränkungen.

Was passiert, wenn ich keine robots.txt-Datei habe?

Ohne robots.txt-Datei nehmen Suchmaschinen an, dass sie Ihre gesamte Website crawlen können. Das ist für die meisten Websites in Ordnung, aber Sie möchten vielleicht Kontrolle darüber, welche Bereiche indexiert werden und wie oft Bots besuchen.