Generador de robots.txt
Crea un robots.txt correcto sin memorizar la sintaxis. Agregue reglas de permitir y no permitir por agente de usuario, enumere sus mapas de sitio y establezca un retraso de rastreo opcional. El resultado se actualiza en vivo y se puede copiar o descargar como robots.txt.
100% del lado del cliente · ningún dato sale de su navegador
User-agent: *
Cómo crear un archivo robots.txt
Genere un archivo robots.txt de motor de búsqueda para su sitio web.
- 1
Agregar reglas
Establezca un agente de usuario y las rutas para permitir o no permitir.
- 2
Agregar mapas del sitio
Enumere las URL de su mapa del sitio y un retraso de rastreo opcional.
- 3
Descargar
Copie o descargue robots.txt y colóquelo en la raíz de su sitio.