Quelle est la différence entre noindex et le disallow du robots.txt, et quand devrais-je utiliser chacun ?
Les deux directives résolvent des problèmes différents, et c'est là la racine de la plupart des confusions. Un disallow du robots.txt contrôle le crawl, il indique aux moteurs de recherche quelles URL ils ont le droit de récupérer. Selon la propre documentation de Google, le robots.txt existe surtout pour éviter de surcharger votre site de requêtes, et ce n'est explicitement pas un mécanisme destiné à garder une page hors de Google. Une règle noindex contrôle l'indexation, elle indique aux moteurs de recherche de retirer entièrement la page des résultats. La question n'est donc jamais simplement disallow ou noindex, c'est quel résultat vous voulez réellement.
Utilisez noindex lorsque vous voulez une page que les utilisateurs peuvent atteindre mais qui ne doit jamais apparaître dans les résultats de recherche, comme les pages de remerciement, les pages de résultats de recherche interne, les confirmations de téléchargement protégées ou les combinaisons de filtres au contenu mince. Noindex se définit soit comme une balise meta robots dans l'en-tête de la page, soit comme un en-tête de réponse HTTP X-Robots-Tag. Une fois que Googlebot crawle la page et lit la règle, la page est retirée des résultats quel que soit le nombre d'autres sites qui pointent vers elle. Cette fiabilité est la raison pour laquelle noindex, et non disallow, est le bon outil pour garder des pages hors de la recherche.
Utilisez un disallow du robots.txt lorsque vous voulez empêcher complètement les crawlers de récupérer une URL, généralement pour protéger le budget de crawl ou tenir les robots à l'écart de sections sans valeur de recherche, comme les chemins d'administration, les URL à paramètres à facettes, les répertoires de préproduction ou les médias volumineux que vous ne voulez pas voir récupérés. Mais soyez clair sur la limite, une URL en disallow peut tout de même être indexée si d'autres pages pointent vers elle. Google peut afficher l'URL nue avec un extrait du type aucune description n'est disponible pour ce résultat en raison du robots.txt de ce site. Le disallow masque le contenu, pas nécessairement l'apparition dans la liste.
L'erreur la plus dommageable, et que nous voyons constamment lors des audits techniques, est d'appliquer à la fois un disallow et un noindex à la même URL. Ils entrent en conflit. Pour que noindex fonctionne, Google doit crawler la page afin de voir la balise. Si le robots.txt bloque le crawl, Googlebot ne lit jamais le noindex, et la page peut s'attarder dans l'index indéfiniment. Si vous voulez qu'une page disparaisse de la recherche, vous devez laisser Google la crawler, ce qui signifie ne pas la mettre en disallow. Notez aussi que Google ne prend pas en charge une directive noindex écrite à l'intérieur du robots.txt lui-même.
Ce conflit apparaît dans la Google Search Console sous forme de deux rapports distincts. Indexée malgré le blocage par le fichier robots.txt signifie que Google a indexé une URL qu'il n'a pas pu crawler, souvent à cause de liens entrants ou d'une entrée de sitemap. Exclue par la balise noindex signifie que la règle a été vue et respectée, ce qui est l'état sain. Pour corriger le cas bloquée mais indexée lorsque vous voulez vraiment sortir la page, retirez le disallow, ajoutez ou confirmez le noindex, puis demandez une réindexation. Retirer les liens internes qui pointent vers l'URL, ou ajouter rel=nofollow comme indice, aide Google à cesser de la redécouvrir.
L'en-tête HTTP X-Robots-Tag est l'élément que la plupart des équipes négligent. Une balise meta robots ne fonctionne qu'à l'intérieur du HTML, elle ne peut donc pas régir les PDF, les images, les vidéos ou d'autres fichiers non HTML. Le X-Robots-Tag porte les mêmes règles noindex et nofollow dans l'en-tête de réponse et s'applique à tout type de fichier. Sur Apache, vous le définissez pour tous les PDF avec un bloc Files dans le .htaccess, sur NGINX avec un add_header à l'intérieur d'une correspondance location. La même exigence de crawl s'applique, si le robots.txt bloque le fichier, le crawler ne voit jamais l'en-tête, donc la règle ne fait rien.
Une dernière limite mérite d'être énoncée clairement, aucune de ces directives n'est de la sécurité. Le robots.txt est un fichier public qui, de fait, annonce les chemins que vous ne voulez pas voir crawlés, et un noindex sert toujours le contenu complet à quiconque, humain ou robot, demande l'URL. Pour tout ce qui est réellement privé, comme des données clients, des outils internes ou des environnements de prélancement, utilisez l'authentification ou une protection par mot de passe. Traitez noindex et disallow comme des contrôles de visibilité pour les moteurs de recherche, jamais comme un contrôle d'accès.
Bien faire cela sur un vrai site implique d'auditer ensemble chaque schéma d'URL gabarisé, le sitemap, les règles du robots.txt et les directives meta et d'en-tête, car elles interagissent. Ce nettoyage transversal est exactement le type de travail que nos prestations site web en 30 jours et stabilisation prennent en charge, nous cartographions quelles URL doivent être crawlées, lesquelles doivent être indexées et lesquelles doivent être verrouillées, puis nous implémentons les directives pour qu'elles se renforcent plutôt que de se contrarier.
Prêt à livrer ?
Dites-nous où vous bloquez. Nous l’examinons et vous envoyons une recommandation ciblée sous un jour ouvré.