Générateur Robots.txt
Constructeur visuel robots.txt avec presets WordPress, Next.js, Shopify — crawl-delay, sitemap, téléchargement
À propos de Générateur Robots.txt
Construisez un fichier robots.txt visuellement avec des presets pour les plateformes populaires — configurez les règles de crawl sans écrire une seule ligne manuellement.
Comment utiliser Générateur Robots.txt
- 1Sélectionnez un preset (WordPress, Next.js, Shopify ou personnalisé) pour démarrer avec des valeurs par défaut pertinentes.
- 2Configurez les groupes user-agent pour contrôler quels bots peuvent accéder à quelles parties de votre site.
- 3Ajoutez des règles Allow et Disallow pour autoriser ou bloquer des chemins spécifiques pour chaque groupe de bots.
- 4Définissez un crawl-delay optionnel pour empêcher les bots agressifs de surcharger votre serveur.
- 5Ajoutez l'URL de votre sitemap pour que les moteurs de recherche la découvrent automatiquement.
- 6Copiez le robots.txt généré et uploadez-le à la racine de votre site web.
Astuces
- Ne bloquez jamais les fichiers CSS ou JavaScript dans robots.txt — Google en a besoin pour rendre et indexer vos pages correctement.
- Utilisez des règles Disallow spécifiques pour les chemins admin, staging et contenu dupliqué afin de concentrer le budget de crawl sur les pages importantes.
- Testez votre robots.txt dans le testeur robots.txt de Google Search Console avant le déploiement pour éviter les blocages accidentels.
Outils similaires
Équipe OneKitToolsMise à jour 2.25.0