Il file robots.txt è un documento di testo, sempre alla radice del sito (tuosito.com/robots.txt), che dice ai bot quali percorsi possono scansionare. Google lo consulta prima di scansionare le pagine, quindi un errore qui dentro può nascondere intere sezioni.
Un dettaglio cambia il modo di usarlo: il robots.txt regola la scansione, non la visibilità. Non è un lucchetto e non cancella niente da Google.
Come si legge
Il file è fatto di gruppi di regole. Ogni gruppo indica a quale bot si applica e cosa può o non può visitare:
- User-agent Indica il bot a cui si applica il gruppo. L’asterisco vale per tutti.
- Disallow Blocca la scansione di un percorso, per esempio
/wp-admin/. - Allow Consente un percorso, di solito come eccezione dentro uno bloccato.
- Sitemap Indica l’indirizzo completo della sitemap XML, così i motori la trovano subito.
Un esempio tipico per WordPress:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://tuosito.com/sitemap.xmlL’eccezione per admin-ajax.php serve perché alcuni temi e plugin lo usano anche sul sito pubblico.
Cosa vale la pena bloccare
Blocca ciò che non serve a chi cerca e fa sprecare scansioni ai bot:
- Aree di amministrazione Per esempio
/wp-admin/su WordPress. - Ricerca interna Genera infinite pagine quasi identiche, per esempio con
/?s=. - Carrello e checkout Pagine personali, senza valore per chi arriva da Google.
- File di sistema Cartelle temporanee o di servizio che nessun visitatore deve vedere.
Non bloccare prodotti, articoli e categorie: sono ciò che vuoi far trovare. Lascia scansionabili anche i file CSS e JavaScript necessari a mostrare la pagina, perché Google li carica per vederla come un visitatore.
Il robots.txt non è un lucchetto
Chiunque può aprire il tuo robots.txt, quindi elencare lì un percorso riservato lo rende più visibile, non meno. Inoltre una pagina bloccata può comparire lo stesso nei risultati, senza descrizione, se un altro sito la linka. Per tenere una pagina fuori dai risultati serve il tag noindex; per i contenuti davvero privati serve una password.
L’errore che costa di più
Un sito in sviluppo ha spesso Disallow: / sotto User-agent: *, che blocca tutto. Se la riga resta dopo il lancio, Google smette di scansionare il sito e la visibilità cala. Apri il robots.txt subito dopo ogni lancio o migrazione: è uno dei controlli della checklist SEO per il lancio di un nuovo sito.
FAQ
Il robots.txt impedisce a una pagina di essere indicizzata?
No: blocca la scansione, non l’indicizzazione. Se un altro sito linka quell’indirizzo, Google può mostrarlo nei risultati, senza descrizione.
Per escludere una pagina dai risultati serve il tag noindex, e la pagina deve restare scansionabile, altrimenti Google non legge il tag. Se il contenuto è riservato, la soluzione è la password.
Cosa succede se il mio sito non ha un file robots.txt?
Nulla di grave: quando il file non esiste (risposta 404), i motori di ricerca considerano tutto scansionabile.
Conviene averlo lo stesso, anche minimo, per indicare la sitemap e per escludere le aree che non vuoi far scansionare.
Come indico la sitemap nel robots.txt?
Con una riga che inizia con Sitemap: seguita dall’indirizzo completo, compreso https://.
Puoi indicare più sitemap, una per riga, e la riga vale per tutti i bot anche se sta fuori dai gruppi di regole. Invia la sitemap anche in Search Console: è il modo più diretto per sapere se Google la legge.
Devo bloccare i bot IA nel robots.txt?
È una scelta editoriale, non un obbligo tecnico. Dipende da cosa vuoi: comparire nelle risposte degli assistenti oppure impedire che leggano i tuoi testi.
Si blocca un bot alla volta, con un gruppo User-agent dedicato, e bloccare un bot IA non cambia il posizionamento su Google. Attenzione: anche un firewall può respingere i bot, a prescindere dal robots.txt. Ne parliamo nella guida su come ottimizzare il sito per ChatGPT e Perplexity.
Come controllo che il mio robots.txt funzioni?
Apri tuosito.com/robots.txt nel browser: il file deve caricarsi e non contenere Disallow: / per tutti i bot.
Per un controllo più preciso, il rapporto robots.txt nelle impostazioni di Search Console mostra le versioni lette da Google e gli eventuali errori. Anche il nostro audit gratuito verifica che il file esista e che non blocchi CSS e JavaScript.
Questo articolo ha scopo informativo. I risultati SEO dipendono da molti fattori e i tempi variano da sito a sito.