Générateur de robots.txt
Créez un robots.txt correct sans mémoriser la syntaxe. Ajoutez des règles d'autorisation et d'interdiction par agent utilisateur, répertoriez vos plans de site et définissez un délai d'exploration facultatif. La sortie est mise à jour en direct et peut être copiée ou téléchargée sous forme de robots.txt.
100 % côté client · aucune donnée ne quitte votre navigateur
User-agent: *
Comment créer un fichier robots.txt
Générez un robots.txt de moteur de recherche pour votre site Web.
- 1
Ajouter des règles
Définissez un agent utilisateur et les chemins à autoriser ou à interdire.
- 2
Ajouter des plans de site
Répertoriez les URL de votre plan de site et un délai d'exploration facultatif.
- 3
Télécharger
Copiez ou téléchargez robots.txt et placez-le à la racine de votre site.