Perché molti siti moderni sono invisibili ai crawler dell'intelligenza artificiale, chi lasciare entrare nel robots.txt, come si scrive una pagina che un modello cita volentieri — e che cosa di tutto questo è ancora una scommessa.
di Nadia Maar ·
Una parte crescente delle ricerche finisce senza un clic: la risposta arriva da ChatGPT, da Perplexity o dalla sintesi che Google mette sopra i risultati. Per chi vende servizi il punto non è se questo cambi la SEO — la cambia — ma se in quella risposta c'è il vostro nome, con un link, o quello di un concorrente.
Qui c'è quello che si sa con certezza su come questi sistemi leggono i siti, quello che si può fare subito, e quello che è ancora un'ipotesi. La distinzione conta: su questo tema circolano molte promesse, e poche misure.
Molti siti moderni sono costruiti come applicazioni: il server manda una pagina quasi vuota, e il contenuto lo disegna il JavaScript nel browser. Per un visitatore non cambia niente. Per un crawler cambia tutto, perché dipende da chi quel JavaScript lo esegue e chi no.
Googlebot lo esegue: rende la pagina come farebbe un browser, con un po' di ritardo. I crawler dei sistemi di intelligenza artificiale, in gran parte, no. Un'analisi pubblicata da Vercel e MERJ a fine 2024, sul traffico reale dei crawler, ha osservato che GPTBot, ClaudeBot e PerplexityBot a volte scaricano i file JavaScript ma non li eseguono: leggono l'HTML che arriva dal server, e basta.
Se il vostro sito è un'applicazione a rendering client, per questi crawler le pagine sono il titolo e poco altro. Potete avere l'articolo migliore del settore e non essere mai citati, semplicemente perché il testo non arriva fino a loro.
Il secondo filtro è il robots.txt. Molti siti hanno bloccato i crawler dell'intelligenza artificiale per prudenza, o se li sono ritrovati bloccati da un'impostazione del provider. È una scelta legittima, ma va fatta sapendo che cosa si blocca: alcuni di questi crawler raccolgono dati per addestrare i modelli, altri servono a rispondere in tempo reale agli utenti, con un link alla fonte.
| Crawler | A che cosa serve |
|---|---|
| GPTBot | Raccoglie contenuti per addestrare i modelli di OpenAI. |
| OAI-SearchBot | Indicizza le pagine per le risposte con fonti di ChatGPT. |
| ChatGPT-User | Apre una pagina quando un utente, in conversazione, chiede di leggerla. |
| PerplexityBot | Indicizza le pagine per le risposte di Perplexity. |
| ClaudeBot | Raccoglie contenuti per i modelli di Anthropic. |
| Google-Extended | Dice a Google se usare i contenuti per i modelli Gemini. Non decide la presenza nelle sintesi della ricerca, che passano da Googlebot. |
# Chi risponde agli utenti citando la fonte.
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
Disallow: /area-riservata/
# Chi raccoglie per addestrare: una scelta vostra.
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /area-riservata/
# Tutti gli altri.
User-agent: *
Disallow: /area-riservata/Il dettaglio che sfugge quasi a tutti: un crawler segue solo il gruppo più specifico che lo nomina, e ignora le regole scritte sotto l'asterisco. Per questo ogni gruppo ripete i divieti — altrimenti, nominando un crawler per lasciarlo entrare, gli aprireste anche l'area riservata.
Una volta che il testo arriva, resta da capire che cosa lo rende citabile. Qui le certezze sono meno, ma alcune regolarità sono coerenti con il modo in cui questi sistemi funzionano: cercano un passaggio che risponda alla domanda, e lo riportano con la fonte.
A questo si aggiungono i dati strutturati: il markup che dice a un motore che cosa è una pagina — un articolo, un servizio, un'azienda con un nome e un indirizzo. Non garantiscono una citazione, ma tolgono ambiguità su chi siete, ed è la prima cosa che un sistema deve decidere prima di nominarvi.
Su questo tema circolano molte certezze vendute come tali. Alcune cose, però, oggi non si sanno:
Diffidate di chi vi promette di «posizionarvi su ChatGPT» con un risultato garantito. Quelle risposte non le controlla nessuno, nemmeno chi le costruisce. Si può rendere il vostro sito la fonte più facile da leggere e da citare; il resto non lo decide nessun consulente.
Questo sito è costruito così: le pagine servizio e gli articoli arrivano ai crawler come HTML completo anche senza JavaScript, con un grafo di dati strutturati e un file llms.txt. Per vederlo con i vostri occhi basta chiedere questa pagina come la chiede un crawler, e leggere che cosa torna.
La domanda da farsi non è se l'intelligenza artificiale vi citerà, ma se oggi potrebbe farlo: se il testo arriva, se i crawler entrano, se le pagine rispondono. Sono tre verifiche tecniche, e si fanno in poco tempo.
L'analisi SEO gratuita parte da qui: che cosa vede un crawler delle vostre pagine, a confronto con i concorrenti, e in che ordine intervenire.
In gran parte no. I loro crawler leggono l'HTML che arriva dal server e non eseguono il JavaScript: se il contenuto viene disegnato nel browser, per loro la pagina è quasi vuota. Googlebot, invece, il JavaScript lo esegue.
Dipende da che cosa volete. Alcuni raccolgono dati per addestrare i modelli, altri servono a rispondere agli utenti con un link alla fonte. Bloccare questi ultimi significa rinunciare a essere citati.
È una proposta del 2024 che nessuno dei grandi sistemi ha confermato di usare. Costa poco e non fa danni, ma non sostituisce testo leggibile, risposte chiare e dati strutturati.
No, e diffidate di chi lo promette. Si può rendere il sito la fonte più facile da leggere e da citare; che cosa un modello sceglie di riportare non lo controlla nessun consulente.