Robots.txt Generator
Eine einfache robots.txt-Datei mit gängigen Sperregeln und Sitemap-Direktive generieren.
Warum dieses Tool verwenden
03Eine Starter-robots.txt für Standard-Admin-, Such- und Vorschau-Ausschlüsse erstellen.
Verwenden, wenn ein sauberer Ausgangspunkt für robots.txt benötigt wird, ohne Direktiven von Grund auf zu bearbeiten.
Hält die Allow/Disallow-Struktur beim Aufbau der Datei sichtbar.
So wird's verwendet
03Schnellcheck vor dem Kopieren
03Confirm the input is the format you intended.
Scan the result before using it in a document, URL, config, or message.
Copy only the output you need.
FAQ
03
Reicht das für jede Website aus?
Nein. Es ist eine Starter-Datei, die basierend auf der eigenen Pfadkonfiguration und Crawling-Richtlinie überprüft werden sollte.
Können spezifische Bots nach Namen gesperrt werden?
Ja. Das User-Agent-Feld mit dem Namen eines spezifischen Bots setzen oder * verwenden, um Regeln auf alle Crawler anzuwenden.
Kann eine Sitemap-URL zur Ausgabe hinzugefügt werden?
Ja. Das Sitemap-Feld fügt eine Sitemap:-Direktive am Ende der generierten Datei hinzu.
Verwandte Tools
03Crawling & Sitemap Manager→
Robots.txt, Sitemap-Inventar, Canonical-Host-Regeln und Hreflang-Ausgabe in einem Arbeitsbereich generieren.
SEO Preflight Workspace→
Seitenstart-Checks für Titel, Beschreibung, Canonical, Robots, Sitemap und Hreflang in einem Arbeitsbereich ausführen.
Snippet Workspace→
Meta-Titel, Beschreibung, Open Graph und Social-Card-Copy an einem Ort planen und das Tag-Bundle exportieren.