Robot txt – Cos’è e come si usa: la guida

Robot txt è il modo (sbagliato) con cui viene spesso chiamato un file particolarmente utile presente sui server che ospitano i siti web. La denominazione corretta del file è robots.txt infatti questo è l’unico modo per farlo riconoscere ai crawler dei motori di ricerca.

Indice dei contenuti

Cos’è robots.txt?

Robots.txt è il nome di un file presente nella root del dominio del tuo sito, anche se spesso in realtà non c’è. Nel caso, qualora volessi utilizzarne le sue funzioni, devi semplicemente creare un file di testo, salvarlo con il nome robots.txt e caricarlo sul server attraverso un file manager FTP. Oppure, se usi un CMS come WordPress, puoi utilizzare un plugin come Yoast SEO.

Il file robots serve principalmente a fornire alcune indicazioni agli spider dei motori di ricerca. All’interno del robots.txt puoi infatti scrivere alcune istruzioni per indicare ai crawler dei motori di ricerca a quali aree del tuo sito possono accedere e a quali no.

Attenzione, perché il fatto che tu possa indicare al crawler di non scansionare una pagina non significa che non la indicizzi; questo è un errore comune molto frequente e te lo spiego più avanti. Per indicare ai motori di ricerca se indicizzare o meno una pagina infatti ci sono altri metodi.

Voglio però che ti sia chiara una cosa: ciò che scrivi nel robots txt rappresenta solamente un’indicazione, poi sta al crawler del motore di ricerca decidere se seguirla o meno. E attenzione a ciò e a come scrivi perché se non sai quello che fai potresti limitare le performance relative al posizionamento del tuo sito web sui motori di ricerca.

Googlebot (il crawler di Google) e gli spider di altri motori di ricerca affidabili seguono le istruzioni contenute nel file robot txt ma altri crawler non è detto che lo facciano.

Inoltre scrivendo nel robot.txt dovresti informarti sulla sintassi adeguata per rendere il file comprensibile al crawler del motore di ricerca che ti interessa.

Dove si trova il file robots.txt?

Il file robots.txt si trova nella root del tuo dominio, ovvero nella cartella principale del tuo sito web o del tuo sottodominio, nel caso tu ne abbia uno. Lo troverai scrivendo www.tuosito.it/robots.txt e qualora non ci fosse e volessi utilizzarlo ti basterà crearlo. È tutto molto semplice e ora ti spiego come fare.

Come creare il file robots.txt

Puoi semplicemente creare il file robots.txt a mano, utilizzando il blocco note di Windows o TextEdit su Mac e salvare il file con il nome robots e con l’estensione .txt.

In alternativa, se usi WordPress e hai già installato un plugin come Yoast SEO o Rank Math, tra le varie impostazioni ne troverai una relativa proprio al file robots in cui puoi direttamente scrivere le istruzioni.

Struttura e sintassi del file robots txt

La sintassi del file robots è molto semplice. Ciò consiste nell’indicare il nome di uno o di più bot che ci interessano, come ad esempio Googlebot, e poi specificare le azioni da compiere. Di seguito ti elenco le istruzioni principali che puoi scrivere nel robots.txt.

Se vuoi approfondire l’argomento puoi dare un’occhiata alla guida di Google sul file robots.txt.

Una cosa da tenere a mente è quella di inserire una sola istruzione per riga.

Robots.txt – le direttive e istruzioni

Di seguito trovi l’elenco delle istruzioni più utilizzate che puoi scrivere nel file robots in modo da specificare ciò che ti interessa.

User-agent

Quando scrivi un’istruzione nel file robots devi prima specificare a quale crawler si riferisce l’istruzione. Ciò è possibile con User-agent. Puoi specificare un crawler in particolare oppure tutti senza distinzione.

Nel caso tu voglia indicare un’istruzione valida per tutti i crawler puoi iniziare il file robots così:

User-agent: *

Se invece vuoi ad esempio specificare una direttiva solamente per il crawler di Google devi scrivere:

User-agent: Googlebot

Fatto ciò puoi iniziare ad elencare le singole istruzioni sotto a User-agent, andando a capo ogni volta. Tutto ciò che scrivi sotto a User-agent si riferisce al crawler che hai specificato.

Se vuoi indicare regole per un crawler aggiuntivo, lascia semplicemente una riga vuota dopo l’ultima istruzione relativa al crawler precedente e poi ricomincia di nuovo scrivendo User-agent e indicando sotto di esso le istruzioni per il secondo crawler, così:

User-agent: Googlebot
Istruzione 1:
Istruzione 2:

User-agent: *
Istruzione 1:

Ora vediamo meglio quali tipi di istruzioni puoi specificare nel file.

Indicare la sitemap nel file robots.txt

Robots.txt può essere utilizzato per comunicare ai bot l’URL della sitemap del tuo sito. Ti basterà specificare l’user-agent e inserire il link alla sitemap, così:

User-agent: *
Sitemap: https://www.tuosito.it/link-alla-sitemap.xml

Disallow

La direttiva disallow ti permette di specificare l’indirizzo di una pagina o di una cartella che non vuoi far scansionare al crawler. Si usa così: specifica l’User-agent, poi scrivi Disallow: seguito dal percorso della pagina, della cartella o della risorsa del tuo sito che vuoi escludere dalla scansione.

User-agent: *
Disallow: /pagine-di-prova/
Disallow: pagina-del-sito-bozza.html
Disallow: /pagine-bozza/pagina-di prova.html

In questo modo ho specificato tre istruzioni valide per tutti i crawler:

non scansionare nessuna delle pagine del mio sito che sono presenti nella cartella pagine-di-prova
non scansionare la pagina pagina-del-sito-bozza.html
non scansionare la pagina pagina-di-prova.html che si trova dentro alla cartella pagine-bozza

Allow

Al contrario del Disallow, la direttiva Allow ti permette di specificare le risorse del tuo sito che vuoi far scansionare ai bot. Questa istruzione è utile quando ad esempio hai indicato una cartella intera in Disallow ma all’interno di essa c’è una pagina che vuoi sottoporre a scansione.

User-agent: *
Disallow: /pagine-di-prova/
Allow: /pagine-di-prova/pagina-del-sito-bozza.html

In questo caso la pagina chiamata pagina-del-sito-bozza.html verrà scansionata nonostante sia nella cartella pagine-di-prova che hai indicato in Disallow.

Noindex

La direttiva Noindex servirebbe per indicare quali pagine o aree del sito non far indicizzare ai crawler dei motori di ricerca. Secondo alcuni questa indicazione non è supportata da Google; secondo altri pare sia supportata in modo ufficioso. In ogni caso io non la uso.

Se hai bisogno di non far indicizzare alcune pagine o aree del tuo sito ci sono modi decisamente più sicuri, come ad esempio inserire questa riga di codice nell’head delle pagine PHP che non vuoi indicizzare

<?php
header("X-Robots-Tag: noindex", true);?>

Comunque a titolo informativo la direttiva Noindex si usa così:

User-agent: *
Noindex: /cartella-da-non-indicizzare/

In questo modo comunichiamo al crawler di non indicizzare tutto ciò che è presente nella cartella chiamata cartella-da-non-indicizzare.

Crawl delay

Questa istruzione ci permette di indicare ai bot di aspettare un intervallo di tempo in secondi tra la scansione di una pagina e l’altra. Serve a evitare di sovraccaricare il server che ospita il tuo sito. Si usa così:

User-agent: *
Crawl-delay: 3

Commentare il file robots.txt

Se all’interno del file vuoi inserire un commento ti basta digitare il cancelletto e scrivere il tuo commento. Tutto ciò che è presente dopo il cancelletto viene ignorato dai crawler. L’importante è che tu scriva tutto su una sola riga. Se vuoi scrivere un commento su più righe, inizia ciascuna con il cancelletto.

User-agent: *
Disallow: /pagine-di-prova/
# questo è un commento. Qui puoi scrivere ciò che vuoi.

Caricare e inviare il file robots.txt

Dopo aver creato il file robots.txt ti è sufficiente caricarlo nella cartella principale del tuo sito, dopodiché i crawler dei motori di ricerca lo troveranno da soli.

Se invece hai modificato robots.txt e vuoi notificare subito a Google la modifica in modo che cancelli dalla propria cache la vecchia versione, puoi usare lo strumento Tester del file Robots della Search Console che ti mette a disposizione.

In ogni caso la cache di Google viene automaticamente aggiornata ogni 24 ore, quindi nella maggior parte dei casi direi che puoi aspettare che faccia tutto da solo.

Nello strumento di test del robots assicurati che la versione del tuo file che compare contenga le ultime modifiche, dopodiché clicca il tasto Invia. Sei a posto così.

Altre informazioni sul file robots.txt

Assicurati che il tuo file pesi meno di 500 kibibytes perché altrimenti non sarà supportato da Google. Per un sito normale direi che non c’è alcun problema dato che per arrivare a far pesare 500 kibibytes un file di testo ne hai parecchie di cose da scrivere.

Indicare le pagine in disallow non eviterà l’indicizzazione delle stesse.

Ogni motore di ricerca ha i suoi crawler. Qui trovi le documentazioni dei crawler di Google

Il file robots.txt è pubblico, quindi accessibile a tutti. Ovviamente non scrivere informazioni personali o password al suo interno.

I nomi dei crawler dei motori di ricerca

Ogni motore di ricerca ha uno o più crawler che si occupano di scansionare elementi differenti. Di seguito trovi i nomi dei crawler più diffusi.

Nomi dei crawler di Google

Bot generico | Googlebot
Bot immagini | Googlebot-Image
Bot mobile | Googlebot-Mobile
Bot news | Googlebot-News
Bot video | Googlebot-Video
Bot AdSense | Mediapartners-Google
Bot AdWords | AdsBot-Google

Nomi dei crawler di Bing

Bot generico | bingbot
Bot generico | msnbot
Bot immagini e video | msnbot-media
Bot Ads | adidxbot

Nomi dei crawler di Baidu

Bot generico | baiduspider
Bot immagini | baiduspider-images
Bot mobile | baiduspider-mobile
Bot news | baiduspider-news
Bot video | baiduspider-video

Nomi dei crawler di Yahoo! e Yandex

Yahoo bot generico | slurp
Yandex bot generico | yandex

I nomi dei crawler dei sistemi di Intelligenza Artificiale

I crawler, o bot, dei sistemi di Intelligenza Artificiale sono software che scansionano o recuperano contenuti presenti sul web principalmente per due scopi:

Addestramento dei modelli: per raccogliere contenuti che possono essere utilizzati per insegnare ai modelli linguistici a comprendere e generare testi.
Ricerca e recupero di informazioni aggiornate: per indicizzare contenuti o visitare pagine web quando un utente richiede informazioni in tempo reale.

Non tutti gli user-agent elencati di seguito identificano veri e propri crawler automatici. Alcuni sono fetcher che visitano una pagina in seguito alla richiesta di un utente; altri, come Google-Extended e Applebot-Extended, sono token utilizzabili nel file robots.txt per controllare se i contenuti scansionati dai crawler principali dell’azienda possano essere impiegati per specifiche funzioni di Intelligenza Artificiale.

Nomi dei crawler di OpenAI e ChatGPT

Bot per l’addestramento dei modelli | GPTBot
Bot per la ricerca e la visibilità in ChatGPT Search | OAI-SearchBot
Fetcher attivato dalle richieste degli utenti di ChatGPT | ChatGPT-User

Nomi dei crawler di Anthropic e Claude

Bot per l’addestramento dei modelli | ClaudeBot
Bot per l’indicizzazione e la ricerca di Claude | Claude-SearchBot
Fetcher attivato dalle richieste degli utenti di Claude | Claude-User

Nomi dei crawler di Google e Gemini

Bot di Google Search utilizzato anche per AI Overviews e AI Mode | Googlebot
Token per controllare l’utilizzo dei contenuti da parte di Gemini e Vertex AI | Google-Extended
Fetcher utilizzato per recuperare le fonti indicate dagli utenti in Gemini Notebook | Google-GeminiNotebook

Google-Extended non è un crawler autonomo e non utilizza un proprio user-agent nelle richieste HTTP. È un token che può essere inserito nel robots.txt per controllare se i contenuti raccolti da Google possono essere utilizzati per alcune funzioni di Gemini e Vertex AI. Non influisce sull’indicizzazione o sul posizionamento in Google Search.

Nomi dei crawler di Microsoft Copilot

Bot di Bing utilizzato per raccogliere i contenuti presenti nel suo indice | bingbot

Microsoft non indica un crawler pubblico separato chiamato CopilotBot. Le funzionalità di Copilot che utilizzano i contenuti del web possono basarsi sull’indice creato dal crawler di Bing.

Nomi dei crawler di Perplexity

Bot per indicizzare e mostrare i siti nei risultati di Perplexity | PerplexityBot
Fetcher attivato dalle richieste degli utenti di Perplexity | Perplexity-User

Nomi dei crawler di Meta AI

Bot per l’addestramento dei modelli e l’indicizzazione dei contenuti | Meta-ExternalAgent
Fetcher che visita singoli link in seguito alla richiesta di un utente | Meta-ExternalFetcher

Nomi dei crawler di Apple Intelligence

Bot utilizzato per Siri, Spotlight, Safari e altre funzionalità Apple | Applebot
Token per controllare l’utilizzo dei contenuti nell’addestramento dei modelli Apple | Applebot-Extended

Applebot-Extended non scansiona direttamente le pagine web. Serve a indicare ad Apple se i dati raccolti da Applebot possono essere utilizzati per addestrare i modelli generativi che alimentano Apple Intelligence e altri prodotti Apple.

Altri crawler importanti per l’Intelligenza Artificiale

Bot di Common Crawl per la creazione di un archivio aperto dei contenuti del web | CCBot

CCBot appartiene a Common Crawl, una fondazione senza scopo di lucro che crea e mantiene un grande archivio pubblico dei contenuti del web. I suoi dataset sono utilizzati nella ricerca, nell’analisi dei dati e nello sviluppo di numerosi sistemi di Intelligenza Artificiale.

Robots.txt e crawl budget

Il crawl budget indica il tempo che il crawler di un motore di ricerca come Google dedica alla scansione di un sito. Vogliamo far perdere tempo al crawler facendogli scansionare pagine che non ci interessano? Vogliamo che si metta a scansionare pagine inutili sprecando tempo e risorse del server? Direi di no, giusto? Avere un file robots.txt adeguato e ottimizzato ci permette di ottimizzare il crawl budget.

Se vuoi un sito ottimizzato, che rende, che porta contatti, che si posiziona ai primi posti di Google e che vende di più, contatta il nostro consulente SEO che ti illustrerà le potenzialità del tuo sito.