Farsi citare da ChatGPT, Perplexity e dalle sintesi di Google: che cosa leggono davvero, e che cosa non vedranno mai

Perché molti siti moderni sono invisibili ai crawler dell'intelligenza artificiale, chi lasciare entrare nel robots.txt, come si scrive una pagina che un modello cita volentieri — e che cosa di tutto questo è ancora una scommessa.

di ·

Una parte crescente delle ricerche finisce senza un clic: la risposta arriva da ChatGPT, da Perplexity o dalla sintesi che Google mette sopra i risultati. Per chi vende servizi il punto non è se questo cambi la SEO — la cambia — ma se in quella risposta c'è il vostro nome, con un link, o quello di un concorrente.

Qui c'è quello che si sa con certezza su come questi sistemi leggono i siti, quello che si può fare subito, e quello che è ancora un'ipotesi. La distinzione conta: su questo tema circolano molte promesse, e poche misure.

1 · Il problema che dal browser non si vede

Molti siti moderni sono costruiti come applicazioni: il server manda una pagina quasi vuota, e il contenuto lo disegna il JavaScript nel browser. Per un visitatore non cambia niente. Per un crawler cambia tutto, perché dipende da chi quel JavaScript lo esegue e chi no.

Googlebot lo esegue: rende la pagina come farebbe un browser, con un po' di ritardo. I crawler dei sistemi di intelligenza artificiale, in gran parte, no. Un'analisi pubblicata da Vercel e MERJ a fine 2024, sul traffico reale dei crawler, ha osservato che GPTBot, ClaudeBot e PerplexityBot a volte scaricano i file JavaScript ma non li eseguono: leggono l'HTML che arriva dal server, e basta.

La conseguenza pratica

Se il vostro sito è un'applicazione a rendering client, per questi crawler le pagine sono il titolo e poco altro. Potete avere l'articolo migliore del settore e non essere mai citati, semplicemente perché il testo non arriva fino a loro.

2 · Chi lasciare entrare

Il secondo filtro è il robots.txt. Molti siti hanno bloccato i crawler dell'intelligenza artificiale per prudenza, o se li sono ritrovati bloccati da un'impostazione del provider. È una scelta legittima, ma va fatta sapendo che cosa si blocca: alcuni di questi crawler raccolgono dati per addestrare i modelli, altri servono a rispondere in tempo reale agli utenti, con un link alla fonte.

CrawlerA che cosa serve
GPTBotRaccoglie contenuti per addestrare i modelli di OpenAI.
OAI-SearchBotIndicizza le pagine per le risposte con fonti di ChatGPT.
ChatGPT-UserApre una pagina quando un utente, in conversazione, chiede di leggerla.
PerplexityBotIndicizza le pagine per le risposte di Perplexity.
ClaudeBotRaccoglie contenuti per i modelli di Anthropic.
Google-ExtendedDice a Google se usare i contenuti per i modelli Gemini. Non decide la presenza nelle sintesi della ricerca, che passano da Googlebot.

robots.txt

# Chi risponde agli utenti citando la fonte.
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
Disallow: /area-riservata/

# Chi raccoglie per addestrare: una scelta vostra.
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /area-riservata/

# Tutti gli altri.
User-agent: *
Disallow: /area-riservata/

Il dettaglio che sfugge quasi a tutti: un crawler segue solo il gruppo più specifico che lo nomina, e ignora le regole scritte sotto l'asterisco. Per questo ogni gruppo ripete i divieti — altrimenti, nominando un crawler per lasciarlo entrare, gli aprireste anche l'area riservata.

3 · Una pagina che un modello cita volentieri

Una volta che il testo arriva, resta da capire che cosa lo rende citabile. Qui le certezze sono meno, ma alcune regolarità sono coerenti con il modo in cui questi sistemi funzionano: cercano un passaggio che risponda alla domanda, e lo riportano con la fonte.

A questo si aggiungono i dati strutturati: il markup che dice a un motore che cosa è una pagina — un articolo, un servizio, un'azienda con un nome e un indirizzo. Non garantiscono una citazione, ma tolgono ambiguità su chi siete, ed è la prima cosa che un sistema deve decidere prima di nominarvi.

4 · Quello che è ancora una scommessa

Su questo tema circolano molte certezze vendute come tali. Alcune cose, però, oggi non si sanno:

Una regola per scegliere a chi dare retta

Diffidate di chi vi promette di «posizionarvi su ChatGPT» con un risultato garantito. Quelle risposte non le controlla nessuno, nemmeno chi le costruisce. Si può rendere il vostro sito la fonte più facile da leggere e da citare; il resto non lo decide nessun consulente.

5 · Da dove si comincia

Questo sito è costruito così: le pagine servizio e gli articoli arrivano ai crawler come HTML completo anche senza JavaScript, con un grafo di dati strutturati e un file llms.txt. Per vederlo con i vostri occhi basta chiedere questa pagina come la chiede un crawler, e leggere che cosa torna.

Il vostro sito, visto da un crawler

La domanda da farsi non è se l'intelligenza artificiale vi citerà, ma se oggi potrebbe farlo: se il testo arriva, se i crawler entrano, se le pagine rispondono. Sono tre verifiche tecniche, e si fanno in poco tempo.

L'analisi SEO gratuita parte da qui: che cosa vede un crawler delle vostre pagine, a confronto con i concorrenti, e in che ordine intervenire.

Il servizio dietro questo articolo

SEO tecnico e AI SEO

Se vi è servito questo, continuate da qui

FAQ

ChatGPT e Perplexity leggono i siti fatti in JavaScript?

In gran parte no. I loro crawler leggono l'HTML che arriva dal server e non eseguono il JavaScript: se il contenuto viene disegnato nel browser, per loro la pagina è quasi vuota. Googlebot, invece, il JavaScript lo esegue.

Devo bloccare i crawler dell'intelligenza artificiale nel robots.txt?

Dipende da che cosa volete. Alcuni raccolgono dati per addestrare i modelli, altri servono a rispondere agli utenti con un link alla fonte. Bloccare questi ultimi significa rinunciare a essere citati.

Il file llms.txt serve davvero?

È una proposta del 2024 che nessuno dei grandi sistemi ha confermato di usare. Costa poco e non fa danni, ma non sostituisce testo leggibile, risposte chiare e dati strutturati.

Si può garantire di essere citati da ChatGPT?

No, e diffidate di chi lo promette. Si può rendere il sito la fonte più facile da leggere e da citare; che cosa un modello sceglie di riportare non lo controlla nessun consulente.

Nadia Maar