Générateur de Robots.txt
Générez un fichier robots.txt de base avec les règles de blocage courantes et la directive sitemap.
Pourquoi utiliser cet outil
01Assemblez un fichier robots.txt de départ pour les exclusions standard d'administration, de recherche et d'aperçu.
Utile quand vous avez besoin d'un point de départ propre pour robots.txt sans éditer les directives depuis zéro.
Maintient la structure allow/disallow visible pendant la construction.
Comment l'utiliser
02Vérifications rapides avant de copier
03Confirmez que le format de saisie est celui attendu.
Vérifiez le résultat avant de l'utiliser dans un document, une URL, une config ou un message.
Copiez uniquement le résultat dont vous avez besoin.
FAQ
04Ce fichier est-il suffisant pour tout site web ?
Non. C'est un fichier de départ qui doit être revu selon votre configuration de routage et votre politique d'exploration.
Peut-on bloquer des robots spécifiques par nom ?
Oui. Définissez le champ User-agent avec le nom d'un bot spécifique, ou utilisez * pour appliquer les règles à tous les crawlers.
Peut-on ajouter une URL de sitemap à la sortie ?
Oui. Le champ sitemap ajoute une directive Sitemap: à la fin du fichier généré.
Outils liés
03Générateur de Liste d'URLs Sitemap→
Nettoyez, rognez et dédupliquez les URLs de pages avant de construire un fichier sitemap.
Gestionnaire de Crawl et Sitemap→
Générez robots.txt, inventaire de sitemap, règles d'hôte canonical et sortie hreflang dans un seul espace de travail.
Vérificateur de Balise Canonical→
Comparez l'URL de la page et l'URL canonical pour détecter les canonicals propres, inter-domaines ou incohérents.