Robots.txt Generator
Eine einfache robots.txt-Datei mit gängigen Sperregeln und Sitemap-Direktive generieren.
Warum dieses Tool verwenden
01Eine Starter-robots.txt für Standard-Admin-, Such- und Vorschau-Ausschlüsse erstellen.
Verwenden, wenn ein sauberer Ausgangspunkt für robots.txt benötigt wird, ohne Direktiven von Grund auf zu bearbeiten.
Hält die Allow/Disallow-Struktur beim Aufbau der Datei sichtbar.
So wird's verwendet
02Schnellcheck vor dem Kopieren
03Confirm the input is the format you intended.
Scan the result before using it in a document, URL, config, or message.
Copy only the output you need.
FAQ
04Reicht das für jede Website aus?
Nein. Es ist eine Starter-Datei, die basierend auf der eigenen Pfadkonfiguration und Crawling-Richtlinie überprüft werden sollte.
Können spezifische Bots nach Namen gesperrt werden?
Ja. Das User-Agent-Feld mit dem Namen eines spezifischen Bots setzen oder * verwenden, um Regeln auf alle Crawler anzuwenden.
Kann eine Sitemap-URL zur Ausgabe hinzugefügt werden?
Ja. Das Sitemap-Feld fügt eine Sitemap:-Direktive am Ende der generierten Datei hinzu.
Verwandte Tools
03Sitemap-URL-Listen-Generator→
URLs von Seiten vor dem Erstellen einer Sitemap-Datei bereinigen, kürzen und deduplizieren.
Crawling & Sitemap Manager→
Robots.txt, Sitemap-Inventar, Canonical-Host-Regeln und Hreflang-Ausgabe in einem Arbeitsbereich generieren.
Canonical-Tag-Prüfer→
Seiten-URL und Canonical-URL vergleichen, um Self-Canonicals, Cross-Domain- oder fehlerhafte Canonicals zu erkennen.