"Robots.txt et sitemaps XML : comment les moteurs de recherche crawlent ton site"

Deux petits fichiers décident de la façon dont les moteurs de recherche voient tout ton site : le robots.txt et ton sitemap XML. Le premier dit aux crawlers où ils ont le droit d'aller ; le second leur dit ce qui vaut le détour. Bien configurés, Google passe son temps sur tes pages importantes. Mal configurés, tu peux disparaître des résultats du jour au lendemain — ça arrive à de vraies entreprises chaque année.

Comment les moteurs crawlent ton site : les bases du crawl budget

Googlebot ne crawle pas tout le web chaque jour. Pour chaque site, il alloue un crawl budget — en gros, le nombre d'URLs qu'il ira chercher sur une période donnée, selon l'autorité de ton site, la vitesse de ton serveur et la fréquence de mise à jour du contenu.

Sur un portfolio de 30 pages, le crawl budget n'a aucune importance. Sur un site avec des milliers d'URLs — filtres e-commerce, navigation à facettes, pages de calendrier, paramètres de session — il compte énormément. Si Googlebot grille son budget sur /search?sort=prix&page=847, il peut mettre des semaines à découvrir tes nouvelles pages produit.

Tes deux leviers :

robots.txt — empêche les crawlers de perdre du temps sur des motifs d'URL sans valeur.
Sitemap XML — les pointe directement vers les URLs qui comptent vraiment.

La syntaxe robots.txt : les quatre directives qui comptent

Le robots.txt vit à un seul endroit : la racine de ton domaine (https://exemple.com/robots.txt). C'est du texte brut, sensible à la casse sur les chemins, lu de haut en bas en groupes ouverts par des lignes User-agent.

# Tout autoriser, bloquer le bruit
User-agent: *
Disallow: /admin/
Disallow: /panier/
Disallow: /search
Disallow: /*?sessionid=
Allow: /admin/docs-publiques/

Sitemap: https://exemple.com/sitemap.xml

User-agent — le crawler auquel s'applique le groupe. * signifie tous ; Googlebot, Bingbot, GPTBot ciblent des bots précis. Un bot suit le groupe le plus spécifique qui le concerne et ignore le reste.
Disallow — un préfixe de chemin interdit au bot. Disallow: /admin/ bloque tout ce qui est sous /admin/. Un Disallow: vide signifie "tout autoriser".
Allow — creuse une exception dans un Disallow plus large. En cas de conflit, la règle la plus longue (la plus spécifique) gagne chez Google.
Sitemap — une URL absolue vers ton sitemap. Elle vit hors des groupes et s'applique globalement ; tu peux en lister plusieurs.

Google supporte aussi deux jokers : * (n'importe quelle séquence de caractères) et $ (fin d'URL). Disallow: /*.pdf$ bloque tous les PDF.

Le Robots.txt Generator construit un fichier valide à partir de cases à cocher — bots courants, exclusions standard, opt-out des crawlers IA — sans te battre avec la syntaxe à la main.

Les désastres classiques

Les catastrophes robots.txt du monde réel suivent toujours les mêmes schémas :

Erreur	Conséquence
`Disallow: /` oublié en production	La config de staging part en prod ; le site entier sort de Google en quelques jours
Bloquer `/css/` ou `/js/`	Googlebot rend les pages sans styles/scripts, voit des pages mobiles "cassées", le ranking souffre
`Disallow: /blog` (sans slash final)	Bloque aussi `/blog-actus`, `/blogging-conseils` — le matching par préfixe mord
robots.txt renvoie une 5xx	Google traite tout le site comme temporairement interdit
Bloquer l'URL de ton sitemap	Les crawlers ne peuvent plus lire le fichier censé les guider

L'accident du Disallow: / est assez fréquent pour mériter sa place dans toute checklist de déploiement. Un passage hebdomadaire avec le SEO Audit l'attrape, avec les meta tags manquants et les problèmes d'indexabilité, avant que ta courbe de trafic ne s'en charge.

Le robots.txt n'empêche PAS l'indexation

C'est le point le plus mal compris du SEO technique. Disallow bloque le crawl, pas l'indexation. Si d'autres sites pointent vers une URL bloquée, Google peut quand même l'indexer — en affichant l'URL nue avec le fameux snippet "Aucune information n'est disponible pour cette page".

Pire : si tu mets un meta tag noindex sur une page et que tu la bloques dans le robots.txt, Google ne peut jamais crawler la page pour voir le noindex. La page reste indexée.

Les règles :

Tu veux sortir une page de Google ? Laisse-la crawlable et sers <meta name="robots" content="noindex"> (ou un header X-Robots-Tag: noindex). Une fois désindexée, tu peux éventuellement la bloquer.
Tu veux économiser du crawl budget sur des pages qui ne rankeront jamais (panier, recherche interne, chaos de paramètres) ? Utilise Disallow.
Du contenu sensible ? Ni l'un ni l'autre. Le robots.txt est public — y lister /admin-secret/ est une annonce, pas une protection. Utilise de l'authentification.

Sitemaps XML : structure, lastmod, et quand il t'en faut un

Un sitemap XML est une liste lisible par machine des URLs que tu veux voir indexées :

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://exemple.com/</loc>
    <lastmod>2026-07-08</lastmod>
  </url>
  <url>
    <loc>https://exemple.com/blog/guide-robots-txt</loc>
    <lastmod>2026-07-10</lastmod>
  </url>
</urlset>

Ce qui compte vraiment en 2026 :

<loc> — obligatoire. URLs absolues et canoniques uniquement. N'y mets pas de redirections, de 404 ni de pages en noindex : un sitemap plein de déchets apprend à Google à s'en méfier.
<lastmod> — le seul tag optionnel que Google utilise vraiment, à condition qu'il soit exact. Mettre lastmod à aujourd'hui sur toutes les URLs à chaque build détruit sa valeur. Ne le mets à jour que quand le contenu change réellement.
<priority> et <changefreq> — ignorés par Google. Laisse tomber.
Limites — 50 000 URLs ou 50 Mo non compressés par fichier. Au-delà, découpe en plusieurs sitemaps référencés par un fichier sitemap index.

En as-tu besoin ? Si ton site fait moins de ~100 pages avec un maillage interne propre, Google trouvera tout de toute façon. Il t'en faut un quand le site est gros, récent (peu de backlinks entrants), avec des pages profondes loin de l'accueil, ou du contenu qui change souvent. Vu le coût quasi nul, la réponse pragmatique : aies-en un. Le Sitemap Generator produit un sitemap.xml valide à partir d'une liste d'URLs, avec le bon format de lastmod.

Soumets-le dans Google Search Console et déclare-le dans le robots.txt — les deux mécanismes sont complémentaires.

Garde ton sitemap honnête

Un sitemap qui référence des URLs mortes est pire que pas de sitemap. Après toute restructuration ou migration, passe le Broken Link Checker sur le site : il repère les 404 et les chaînes de redirections à retirer du sitemap ou à corriger à la source.

Les crawlers IA : refuser GPTBot et compagnie

Une nouvelle décision depuis 2023 : laisses-tu les entreprises d'IA s'entraîner sur ton contenu ? Ces crawlers respectent le robots.txt et s'identifient :

# Bloquer les crawlers d'entraînement IA
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Les nuances à connaître :

Google-Extended ne contrôle que l'usage pour l'entraînement IA — le bloquer n'affecte pas ton ranking dans Google Search.
Bloquer GPTBot stoppe les crawls d'entraînement, mais les produits de recherche IA peuvent utiliser des agents distincts (ex. OAI-SearchBot) — décide par cas d'usage : opt-out d'entraînement vs apparaître dans les réponses des moteurs IA.
C'est une décision business, pas de l'hygiène SEO. Les éditeurs qui monétisent du contenu original bloquent souvent ; les équipes de docs SaaS autorisent souvent, parce qu'être cité dans les réponses IA amène des inscriptions.

Génère ton robots.txt maintenant

Le Robots.txt Generator construit un fichier propre et valide en quelques secondes — choisis les bots, les chemins à bloquer, ajoute ta ligne Sitemap, copie le résultat. Sans compte, gratuitement.