Robots.txt per la SEO: la guida completa
Robots.txt è un file di quattro righe che può costarti traffico in silenzio o salvare il tuo crawl budget. Questa guida copre la sintassi che conta davvero, i blocchi che più spesso danneggiano il posizionamento, cosa significa realmente il crawl budget e come verificare ogni modifica prima di pubblicarla.
Cosa fa robots.txt (e cosa non può fare)
Robots.txt risiede nella radice di ogni dominio, ad esempio https://example.com/robots.txt. Indica ai crawler conformi quali URL hanno il permesso di richiedere. Google lo dice chiaramente: il file serve a evitare di sovraccaricare il tuo sito di richieste, e non è un meccanismo per tenere una pagina fuori dalla Ricerca.
Questa singola frase risolve gran parte della confusione su robots.txt. La scansione è un bot che recupera un URL. L'indicizzazione è Google che memorizza quell'URL per poterlo posizionare. Robots.txt governa solo la scansione. Una pagina che vieti può comunque comparire nei risultati, di solito come un URL nudo senza snippet, se altre pagine la collegano. Per tenere una pagina fuori dalla Ricerca ti serve un meta tag noindex, un header X-Robots-Tag, la protezione con password o la rimozione, mai una riga disallow.
Un altro limite: il file è solo indicativo. Googlebot e gli altri crawler seri lo rispettano, ma uno scraper ostile può ignorarlo del tutto. Robots.txt è uno strumento di gestione del traffico, non un controllo di sicurezza. Tutto ciò che deve restare privato va dietro un'autenticazione.
La sintassi che conta davvero
Un file robots.txt è fatto di gruppi di regole. Ogni gruppo inizia con una o più righe User-agent, seguite da regole Allow e Disallow. Un esempio minimo:
User-agent: *
Disallow: /cart/
Disallow: /search
Allow: /search/help
Sitemap: https://example.com/sitemap.xmlI nomi dei campi non distinguono maiuscole e minuscole (User-agent equivale a user-agent), ma i valori dei percorsi sì: /Admin e /admin sono diversi. I percorsi sono relativi alla radice e devono iniziare con una barra. I commenti iniziano con #.
Google, Bing e gli altri grandi motori supportano due caratteri jolly: * corrisponde a una qualsiasi sequenza di caratteri e $ ancora la fine di un URL. Quindi Disallow: /*.pdf$ blocca ogni URL che termina in .pdf. Crawl-delay è spesso elencato nelle vecchie guide, ma Google lo ignora; Bing e Yandex lo leggono ancora. Tieni il file in UTF-8 e sotto i 500KB, che è il limite rigido di Google; tutto ciò che va oltre viene ignorato.
Precedenza: non decide l'ordine, ma la lunghezza
L'errore di sintassi più comune è supporre che le regole si leggano dall'alto verso il basso. Non è così. Quando più regole corrispondono a un URL, vince la regola con il percorso più lungo, e a parità esatta Allow batte Disallow. Questo è codificato nella RFC 9309, lo standard formale del Robots Exclusion Protocol.
Esempio. Per l'URL /home/search/shirts con queste regole:
Disallow: /home
Allow: *search*
Disallow: *shirtsl'URL è scansionabile, perché il percorso Allow corrispondente è più lungo dei percorsi Disallow corrispondenti. Riordinare le righe non cambia nulla.
C'è una seconda trappola con gli user agent. Google unisce in uno solo tutti i gruppi che corrispondono a un bot specifico, ma non combina mai un gruppo con nome con il gruppo globale User-agent: *. Quindi, nel momento in cui aggiungi un blocco User-agent: Googlebot, Googlebot smette di leggere le tue regole User-agent: *. Se prendi di mira un bot specifico, quel gruppo deve ripetere ogni regola che vuoi che continui a seguire.
Blocchi che danneggiano in silenzio il posizionamento
La maggior parte dei danni da robots.txt deriva dal sovra-blocco, non dal sotto-blocco. Il colpevole peggiore è vietare CSS e JavaScript. Google esegue il rendering delle pagine per comprenderle, e la sua stessa guida è diretta: se robots.txt blocca i file JS, CSS e immagine che le tue pagine usano, danneggia direttamente la qualità con cui Google esegue il rendering e indicizza i tuoi contenuti e può portare a posizionamenti più bassi. Il vecchio mito del crawl budget di bloccare le risorse è stato ritirato anni fa.
La sfumatura di Martin Splitt di Google: bloccare uno script è un vero problema solo se il contenuto che l'utente vede dipende da esso. Un tag di analytics o un widget di chat bloccato da robots è innocuo. Un bundle bloccato da robots che inietta il tuo testo principale significa che Google vede una pagina vuota.
Il secondo fallimento silenzioso è usare robots.txt per deindicizzare. Vieta un URL e Google non potrà mai scansionarlo per scoprire un tag noindex che aggiungi in seguito, quindi la pagina resta indicizzata. Se vuoi che una pagina sparisca, lasciala scansionabile e servi noindex. Un Disallow: / generale rimasto da un build di staging è la versione catastrofica di questo, e deindicizza interi siti dopo il lancio.
Spunti operativi ogni settimana
Unisciti ai responsabili di aziende di servizi che ricevono ogni settimana uno spunto concreto su operazioni, automazione e crescita.
Niente spam. Disiscriviti quando vuoi.
Iscrizione completata! Cerca il prossimo numero nella tua casella di posta.
Invio non riuscito. Riprova o scrivi a [email protected].
Crawl budget: cos'è e cosa può fare robots.txt
Il crawl budget è quanti URL Googlebot recupererà dal tuo sito in una data finestra. Per i siti con meno di qualche migliaio di URL conta raramente; Google li scansiona per intero. Diventa reale sui grandi cataloghi, sui marketplace e su qualsiasi sito che genera URL in modo combinatorio.
Lo spreco classico è la navigazione a faccette e la ricerca interna. Filtri come ?color=red&size=l&sort=price si moltiplicano in URL quasi infiniti con poco valore unico, e le pagine dei risultati di ricerca interna possono generarsi senza fine. Gary Illyes di Google ha avvertito ripetutamente di bloccare gli URL di azione (aggiungi al carrello, login, checkout, combinazioni di filtri), perché altrimenti Googlebot li scansionerà all'infinito, persino combinazioni inesistenti.
Una correzione di un fatto che molte guide sbagliano: bloccare le pagine non passa il budget liberato alle tue pagine importanti. Google lo riassegna solo se il tuo server stava già raggiungendo il suo limite di servizio. Robots.txt ferma lo spreco; non fabbrica capacità di scansione. Le vere leve per più scansione sono server più veloci e sani e contenuti di qualità più alta, genuinamente unici.
Un modello pratico di partenza
La maggior parte dei siti di aziende di servizi e di contenuti vuole qualcosa di simile a questo, adattato ai percorsi reali:
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /*?*sort=
Disallow: /*?*filter=
Disallow: /search
Allow: /
Sitemap: https://example.com/sitemap.xmlNote. Elenca ogni sitemap XML con un URL assoluto; puoi avere più righe. Non bloccare /wp-content, /assets o qualsiasi directory che contenga CSS, JS o immagini. Sii preciso con le regole sui parametri, perché un Disallow: /*? sciatto può abbattere URL puliti che per caso portano un parametro di tracciamento. Tieni il file semplice; le pile complesse di regole con caratteri jolly sono il posto dove si nasconde il sovra-blocco accidentale. Ogni sottodominio ha bisogno del proprio robots.txt, e così ogni protocollo, quindi http e https sono trattati come file separati.
Testare con GSC e curl prima di pubblicare
Verifica due cose a ogni modifica: che il file che Google recupera sia quello che intendevi, e che gli URL reali si risolvano come ti aspetti.
Inizia con curl per vedere esattamente cosa ricevono i crawler, senza sorprese di cache o CDN: curl -A "Googlebot" https://example.com/robots.txt. Conferma che lo stato sia 200, che il content type sia text/plain e che il corpo corrisponda alla tua fonte. Un robots.txt che restituisce 500 fa sì che Google tratti l'intero sito come vietato finché non si riprende, quindi la salute del server conta qui.
Nella Google Search Console il vecchio tester di robots.txt non c'è più. Usa il report robots.txt sotto Impostazioni per confermare l'ultima versione recuperata da Google e gli eventuali avvisi di analisi. Per controllare un URL specifico, incollalo nello strumento di controllo URL e leggi la sezione di scansione; ti dice se l'URL è bloccato. Per trovare i danni esistenti, apri il report Pagine e filtra per Bloccata da robots.txt. Ricorda che la GSC testa solo Googlebot, quindi per Bing o i crawler di IA convalida separatamente. Questa disciplina di test, applicata prima dei lanci e delle migrazioni, è esattamente il tipo di salvaguardia che uno sprint di SEO tecnica a perimetro fisso integra nel tuo processo di rilascio, così che un disallow vagante non raggiunga mai la produzione.
Pronto a rilasciare?
Dicci dove sei bloccato. Lo esaminiamo e ti inviamo una raccomandazione mirata entro un giorno lavorativo.
Domande frequenti
Posso usare robots.txt per tenere una pagina fuori da Google?
No. Robots.txt controlla la scansione, non l'indicizzazione. Una pagina vietata può comunque essere indicizzata e mostrata come URL se altre pagine la collegano, e bloccarla impedisce a Google di vedere mai un tag noindex. Per rimuovere una pagina dalla Ricerca, lasciala scansionabile e usa un meta tag noindex o un header X-Robots-Tag, proteggila con password, oppure eliminala.
È male bloccare CSS e JavaScript in robots.txt?
Sì, nella maggior parte dei casi. Google esegue il rendering delle pagine per comprenderle e afferma che bloccare i file CSS, JS e immagine che le tue pagine usano danneggia direttamente rendering e indicizzazione e può abbassare il posizionamento. L'unica eccezione sicura sono gli script che non influiscono sul contenuto che gli utenti vedono, come un widget di chat. Non bloccare mai i bundle che caricano il tuo testo visibile.
Le regole di robots.txt si applicano nell'ordine in cui sono scritte?
No. Quando più regole corrispondono a un URL, vince la regola con il percorso corrispondente più lungo, e a parità Allow batte Disallow. Questo segue la RFC 9309. Riordinare le righe non cambia il comportamento, quindi risolvi i conflitti regolando la specificità dei percorsi, non la posizione.
Bloccare pagine in robots.txt libera crawl budget?
Solo a volte. Bloccare URL di basso valore ferma lo spreco, ma Google riassegna il budget liberato ad altre pagine solo se il tuo server stava già raggiungendo il suo limite di servizio. Per la maggior parte dei siti, server più veloci e contenuti unici di qualità più alta fanno di più per la frequenza di scansione del solo blocco.
Come testo le modifiche a robots.txt nel 2026?
Usa curl con uno user agent Googlebot per confermare che il file restituisca 200 e l'esatto contenuto che ti aspetti. Nella Google Search Console controlla il report robots.txt sotto Impostazioni per la versione recuperata e gli avvisi, usa lo strumento di controllo URL per testare URL specifici e filtra il report Pagine per Bloccata da robots.txt per individuare problemi esistenti. Il vecchio tester autonomo è deprecato.
Cosa dovrei bloccare davvero in robots.txt?
Blocca URL di basso valore e alto volume che creano spazio di scansione infinito: combinazioni di filtri a faccette, risultati di ricerca interna, parametri di ordinamento e impaginazione, e pagine di azione come carrello, checkout, login e account. Lascia sempre scansionabili CSS, JS, immagini e qualsiasi pagina che vuoi indicizzata.