Generador de Robots.txt
Genera un archivo robots.txt básico con reglas de bloqueo comunes y directiva de sitemap.
Por qué usar esta herramienta
01Crea un archivo robots.txt de inicio para exclusiones estándar de administración, búsqueda y previsualización.
Úsalo cuando necesites un punto de partida limpio para robots.txt sin editar directivas desde cero.
Mantiene visible la estructura allow/disallow mientras construyes el archivo.
Cómo usarla
02Revisiones rápidas antes de copiar
03Confirma que el formato de entrada es el que esperabas.
Revisa el resultado antes de usarlo en un documento, URL, configuración o mensaje.
Copia solo el resultado que necesitas.
Preguntas frecuentes
04¿Es suficiente para cualquier sitio web?
No. Es un archivo de inicio que debe revisarse según tu configuración de rutas y política de rastreo.
¿Puedo bloquear bots específicos por nombre?
Sí. Establece el campo User-agent con el nombre de un bot específico, o usa * para aplicar reglas a todos los crawlers.
¿Puedo añadir una URL de sitemap a la salida?
Sí. El campo sitemap agrega una directiva Sitemap: al final del archivo generado.
Herramientas relacionadas
03Generador de Lista de URLs para Sitemap→
Limpia, recorta y deduplica URLs de páginas antes de construir un archivo sitemap.
Gestor de Rastreo y Sitemap→
Genera robots.txt, inventario de sitemap, reglas de host canonical y salida hreflang en un único espacio de trabajo.
Verificador de Etiqueta Canonical→
Compara la URL de la página y la URL canonical para detectar canonicals propios, de dominio cruzado o incorrectos.