Generador de robots.txt
Cree un archivo robots.txt válido con reglas de permitir/no permitir, múltiples agentes de usuario, mapas de sitio y retraso de rastreo. Gratis.
100% del lado del cliente · ningún dato sale de su navegador
User-agent: *
Acerca de esta herramienta
Crea un robots.txt correcto sin memorizar la sintaxis. Agregue reglas de permitir y no permitir por agente de usuario, enumere sus mapas de sitio y establezca un retraso de rastreo opcional. El resultado se actualiza en vivo y se puede copiar o descargar como robots.txt.
Cómo crear un archivo robots.txt
Genere un archivo robots.txt de motor de búsqueda para su sitio web.
- 1
Agregar reglas
Establezca un agente de usuario y las rutas para permitir o no permitir.
- 2
Agregar mapas del sitio
Enumere las URL de su mapa del sitio y un retraso de rastreo opcional.
- 3
Descargar
Copie o descargue robots.txt y colóquelo en la raíz de su sitio.