Robots.txt pour le SEO : le guide complet
Robots.txt est un fichier de quatre lignes qui peut discrètement vous coûter du trafic ou sauver votre budget de crawl. Ce guide couvre la syntaxe qui compte vraiment, les blocages qui nuisent le plus souvent au classement, ce que signifie réellement le budget de crawl et comment vérifier chaque changement avant sa mise en ligne.
Ce que robots.txt fait (et ce qu'il ne peut pas faire)
Robots.txt se trouve à la racine de chaque domaine, par exemple https://example.com/robots.txt. Il indique aux robots conformes quelles URL ils sont autorisés à demander. Google le dit clairement : le fichier sert à éviter de surcharger votre site de requêtes, et ce n'est pas un mécanisme pour empêcher une page d'apparaître dans la recherche.
Cette seule phrase dissipe la plupart des confusions autour de robots.txt. Le crawl, c'est un robot qui récupère une URL. L'indexation, c'est Google qui stocke cette URL pour pouvoir la classer. Robots.txt ne régit que le crawl. Une page que vous interdisez peut quand même apparaître dans les résultats, généralement sous forme d'URL nue sans description, si d'autres pages y renvoient. Pour empêcher une page d'apparaître dans la recherche, il vous faut une balise meta noindex, un en-tête X-Robots-Tag, une protection par mot de passe ou une suppression, jamais une ligne disallow.
Une limite de plus : le fichier n'est qu'indicatif. Googlebot et les autres robots sérieux le respectent, mais un scraper hostile peut l'ignorer entièrement. Robots.txt est un outil de gestion du trafic, pas un contrôle de sécurité. Tout ce qui doit rester privé doit se trouver derrière une authentification.
La syntaxe qui compte vraiment
Un fichier robots.txt est constitué de groupes de règles. Chaque groupe commence par une ou plusieurs lignes User-agent, suivies de règles Allow et Disallow. Un exemple minimal :
User-agent: *
Disallow: /cart/
Disallow: /search
Allow: /search/help
Sitemap: https://example.com/sitemap.xmlLes noms de champ ne sont pas sensibles à la casse (User-agent équivaut à user-agent), mais les valeurs de chemin le sont : /Admin et /admin sont différents. Les chemins sont relatifs à la racine et doivent commencer par une barre oblique. Les commentaires commencent par #.
Google, Bing et les autres grands moteurs prennent en charge deux jokers : * correspond à une suite quelconque de caractères, et $ ancre la fin d'une URL. Ainsi Disallow: /*.pdf$ bloque toute URL se terminant par .pdf. Crawl-delay figure souvent dans les anciens guides, mais Google l'ignore ; Bing et Yandex le lisent encore. Gardez le fichier en UTF-8 et sous 500 Ko, qui est la limite stricte de Google ; tout ce qui dépasse est ignoré.
Priorité : ce n'est pas l'ordre qui décide, mais la longueur
L'erreur de syntaxe la plus courante est de croire que les règles se lisent de haut en bas. Ce n'est pas le cas. Quand plusieurs règles correspondent à une URL, la règle au chemin le plus long l'emporte, et en cas d'égalité exacte Allow l'emporte sur Disallow. C'est inscrit dans la RFC 9309, la norme formelle du protocole d'exclusion des robots.
Exemple. Pour l'URL /home/search/shirts avec ces règles :
Disallow: /home
Allow: *search*
Disallow: *shirtsl'URL est crawlable, car le chemin Allow correspondant est plus long que les chemins Disallow correspondants. Réorganiser les lignes ne change rien.
Il y a un second piège avec les user agents. Google fusionne en un seul tous les groupes qui correspondent à un robot précis, mais il ne combine jamais un groupe nommé avec le groupe global User-agent: *. Ainsi, dès que vous ajoutez un bloc User-agent: Googlebot, Googlebot cesse de lire vos règles User-agent: *. Si vous ciblez un robot précis, ce groupe doit répéter chaque règle que vous voulez qu'il continue de suivre.
Les blocages qui nuisent discrètement au classement
La plupart des dégâts causés par robots.txt viennent du sur-blocage, pas du sous-blocage. Le pire coupable est l'interdiction du CSS et du JavaScript. Google rend les pages pour les comprendre, et sa propre recommandation est directe : si robots.txt bloque les fichiers JS, CSS et image que vos pages utilisent, cela nuit directement à la qualité du rendu et de l'indexation de votre contenu par Google et peut entraîner un moins bon classement. Le vieux mythe du budget de crawl consistant à bloquer les ressources a été abandonné il y a des années.
La nuance de Martin Splitt de Google : bloquer un script n'est un vrai problème que si le contenu vu par l'utilisateur en dépend. Une balise d'analytics ou un widget de chat bloqué par robots est inoffensif. Un bundle bloqué par robots qui injecte votre texte principal signifie que Google voit une page vide.
Le second échec discret est d'utiliser robots.txt pour désindexer. Interdisez une URL et Google ne pourra jamais la crawler pour découvrir une balise noindex que vous ajoutez plus tard, la page reste donc indexée. Si vous voulez qu'une page disparaisse, laissez-la crawlable et servez noindex. Un Disallow: / général laissé d'un build de préproduction est la version catastrophique de cela, et il désindexe des sites entiers après le lancement.
Des idées opérationnelles chaque semaine
Rejoignez les dirigeants d’entreprises de services qui reçoivent chaque semaine une idée concrète sur les opérations, l’automatisation et la croissance.
Pas de spam. Désabonnement à tout moment.
Vous êtes inscrit ! Surveillez votre boîte de réception pour le prochain numéro.
L’envoi a échoué. Réessayez ou écrivez à [email protected].
Budget de crawl : ce que c'est et ce que robots.txt peut faire
Le budget de crawl, c'est le nombre d'URL que Googlebot récupérera de votre site sur une période donnée. Pour les sites de moins de quelques milliers d'URL, cela compte rarement ; Google les crawle entièrement. Il devient réel sur les grands catalogues, les places de marché et tout site qui génère des URL de façon combinatoire.
Le gaspillage classique vient de la navigation à facettes et de la recherche interne. Des filtres comme ?color=red&size=l&sort=price se multiplient en URL quasi infinies à faible valeur unique, et les pages de résultats de recherche interne peuvent se générer sans fin. Gary Illyes de Google a averti à plusieurs reprises de bloquer les URL d'action (ajout au panier, connexion, paiement, combinaisons de filtres), car sinon Googlebot les crawlera indéfiniment, y compris des combinaisons inexistantes.
Une correction d'un fait que beaucoup de guides se trompent : bloquer des pages ne transfère pas le budget libéré à vos pages importantes. Google ne réaffecte que si votre serveur atteignait déjà sa limite de service. Robots.txt stoppe le gaspillage ; il ne fabrique pas de capacité de crawl. Les vrais leviers pour plus de crawl sont des serveurs plus rapides et plus sains, et un contenu de meilleure qualité, véritablement unique.
Un modèle de départ pratique
La plupart des sites d'entreprises de services et de contenu veulent quelque chose de proche de ceci, ajusté aux chemins réels :
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /*?*sort=
Disallow: /*?*filter=
Disallow: /search
Allow: /
Sitemap: https://example.com/sitemap.xmlRemarques. Listez chaque sitemap XML avec une URL absolue ; vous pouvez avoir plusieurs lignes. Ne bloquez pas /wp-content, /assets ni aucun répertoire contenant du CSS, du JS ou des images. Soyez précis avec les règles de paramètres, car un Disallow: /*? négligent peut faire tomber des URL propres qui portent par hasard un paramètre de suivi. Gardez le fichier simple ; les piles complexes de règles à jokers sont là où se cache le sur-blocage accidentel. Chaque sous-domaine a besoin de son propre robots.txt, et chaque protocole aussi, donc http et https sont traités comme des fichiers distincts.
Tester avec GSC et curl avant la mise en ligne
Vérifiez deux choses à chaque changement : que le fichier que Google récupère est bien celui que vous vouliez, et que les vraies URL se résolvent comme vous l'attendez.
Commencez par curl pour voir exactement ce que reçoivent les robots, sans surprises de cache ni de CDN : curl -A "Googlebot" https://example.com/robots.txt. Vérifiez que le statut est 200, que le type de contenu est text/plain et que le corps correspond à votre source. Un robots.txt qui renvoie 500 fait que Google traite tout le site comme interdit jusqu'à son rétablissement, la santé du serveur compte donc ici.
Dans la Google Search Console, l'ancien testeur de robots.txt a disparu. Utilisez le rapport robots.txt sous Paramètres pour confirmer la dernière version récupérée par Google et les éventuels avertissements d'analyse. Pour vérifier une URL précise, collez-la dans l'outil d'inspection d'URL et lisez la section de crawl ; elle vous dit si l'URL est bloquée. Pour trouver les dégâts existants, ouvrez le rapport Pages et filtrez par Bloquée par le fichier robots.txt. Rappelez-vous que la GSC ne teste que Googlebot, alors pour Bing ou les robots d'IA validez séparément. Cette discipline de test, appliquée avant les lancements et les migrations, est exactement le type de garde-fou qu'un sprint de SEO technique à périmètre fixe intègre à votre processus de mise en production pour qu'un disallow égaré n'atteigne jamais la production.
Prêt à livrer ?
Dites-nous où vous bloquez. Nous l’examinons et vous envoyons une recommandation ciblée sous un jour ouvré.
Questions fréquentes
Puis-je utiliser robots.txt pour empêcher une page d'apparaître dans Google ?
Non. Robots.txt contrôle le crawl, pas l'indexation. Une page interdite peut quand même être indexée et affichée sous forme d'URL si d'autres pages y renvoient, et la bloquer empêche Google de jamais voir une balise noindex. Pour retirer une page de la recherche, laissez-la crawlable et utilisez une balise meta noindex ou un en-tête X-Robots-Tag, protégez-la par mot de passe, ou supprimez-la.
Est-ce mauvais de bloquer le CSS et le JavaScript dans robots.txt ?
Oui, dans la plupart des cas. Google rend les pages pour les comprendre et indique que bloquer les fichiers CSS, JS et image que vos pages utilisent nuit directement au rendu et à l'indexation et peut faire baisser le classement. La seule exception sûre concerne les scripts qui n'affectent pas le contenu vu par les utilisateurs, comme un widget de chat. Ne bloquez jamais les bundles qui chargent votre texte visible.
Les règles de robots.txt s'appliquent-elles dans l'ordre où elles sont écrites ?
Non. Quand plusieurs règles correspondent à une URL, la règle au chemin correspondant le plus long l'emporte, et en cas d'égalité Allow l'emporte sur Disallow. Cela suit la RFC 9309. Réorganiser les lignes ne change pas le comportement, donc résolvez les conflits en ajustant la spécificité des chemins, pas la position.
Bloquer des pages dans robots.txt libère-t-il du budget de crawl ?
Seulement parfois. Bloquer les URL à faible valeur stoppe le gaspillage, mais Google ne réaffecte le budget libéré à d'autres pages que si votre serveur atteignait déjà sa limite de service. Pour la plupart des sites, des serveurs plus rapides et un contenu unique de meilleure qualité font plus pour le taux de crawl que le blocage seul.
Comment tester les changements de robots.txt en 2026 ?
Utilisez curl avec un user agent Googlebot pour confirmer que le fichier renvoie 200 et le contenu exact attendu. Dans la Google Search Console, consultez le rapport robots.txt sous Paramètres pour la version récupérée et les avertissements, utilisez l'outil d'inspection d'URL pour tester des URL précises, et filtrez le rapport Pages par Bloquée par le fichier robots.txt pour repérer les problèmes existants. L'ancien testeur autonome est obsolète.
Que dois-je réellement bloquer dans robots.txt ?
Bloquez les URL à faible valeur et à fort volume qui créent un espace de crawl infini : combinaisons de filtres à facettes, résultats de recherche interne, paramètres de tri et de pagination, et pages d'action comme panier, paiement, connexion et compte. Laissez toujours crawlables le CSS, le JS, les images et toute page que vous voulez voir indexée.