Crawler AI
Bot delle piattaforme AI
Un crawler AI è un bot con cui una piattaforma di intelligenza artificiale scarica pagine web per addestrare i modelli, indicizzarle per la ricerca o leggerle su richiesta di un utente: nella GEO decide quali contenuti possono arrivare nelle risposte.
80%
del crawling dei bot AI nei 12 mesi analizzati serviva all’addestramento, il 18% alla ricerca (Cloudflare, agosto 2025).
1.091
pagine scansionate dai bot di OpenAI per ogni visita rimandata ai siti, luglio 2025 (Cloudflare).
~24 ore
il tempo indicato da OpenAI perché i suoi sistemi recepiscano una modifica al robots.txt (documentazione OpenAI).
Sei cose da sapere
- Le piattaforme AI usano bot diversi per scopi diversi: addestrare i modelli, indicizzare il web per la ricerca, leggere una pagina quando un utente lo chiede.
- Bloccare i bot di addestramento, come GPTBot e ClaudeBot, tiene i contenuti futuri fuori dai dataset dell’LLM, ma non dalle risposte con ricerca web.
- Bloccare i bot di ricerca, come OAI-SearchBot, Claude-SearchBot e PerplexityBot, esclude il sito dalle fonti mostrate e quindi dalla possibilità di ottenere una citazione.
- I fetcher avviati dall’utente, come ChatGPT-User e Perplexity-User, possono non seguire il robots.txt: entrambe le aziende lo scrivono nella documentazione.
- Google-Extended e Applebot-Extended non sono crawler ma token di controllo: escludono l’uso per l’addestramento senza toccare l’inclusione nella ricerca di Google o di Apple.
- Il crawling è sbilanciato verso l’addestramento: secondo Cloudflare l’80% delle richieste dei bot AI serviva a questo, mentre il traffico rimandato ai siti resta minimo.
Come si decide quali bot lasciare passare
La scelta non è “AI sì o no”. Va presa bot per bot, separando ciò che serve alla visibilità da ciò che alimenta solo i dataset.
Inventario
Leggere robots.txt e regole di firewall o CDN. Molti blocchi sui bot AI sono stati aggiunti in blocco, senza distinguere tra addestramento e ricerca.
Log del server
Verificare quali user agent visitano davvero il sito e con che frequenza, e confrontarli con le visite in arrivo dalle piattaforme AI.
Decisione
Consentire i bot di ricerca e di recupero se l’obiettivo è comparire nelle risposte. Decidere a parte sui bot di addestramento, che incidono su ciò che il modello saprà dopo il prossimo knowledge cut-off.
Controllo
Dopo ogni modifica, verificare che le regole siano lette come previsto e monitorare se le pagine tornano a essere usate per il grounding delle risposte.
Che cosa dicono i dati sui crawler AI
38.000
pagine scansionate dai bot di Anthropic per ogni visita rimandata a luglio 2025; a gennaio erano quasi 287.000.
Cloudflare, 2025
194,8
il rapporto crawl/referral di Perplexity a luglio 2025: il più basso dei tre, ma salito del 256,7% da gennaio.
Cloudflare, 2025
11,7%
la quota di GPTBot sul traffico dei crawler AI e di ricerca a luglio 2025, dal 4,7% di un anno prima.
Cloudflare, 2025
2%
la quota del crawling AI dovuta ad azioni avviate dagli utenti nei 12 mesi analizzati; la ricerca pesava il 18%.
Cloudflare, 2025
- I dati Cloudflare descrivono il traffico che attraversa la sua rete, non l’intero web, e sono aggregati: il rapporto di un singolo sito può essere molto diverso.
- Un rapporto crawl/referral alto misura uno squilibrio, non un danno in sé: comparire in una risposta può avere valore anche senza clic, come avviene nelle ricerche zero-click.
Addestramento, ricerca, richiesta dell’utente: che cosa si blocca
| Funzione | User agent | Effetto del blocco |
|---|---|---|
| Addestramento dei modelli | GPTBot, ClaudeBot | I contenuti futuri escono dai dataset di training; nessun effetto dichiarato sulla ricerca |
| Indicizzazione per la ricerca | OAI-SearchBot, Claude-SearchBot, PerplexityBot | Il sito non compare tra le fonti delle risposte con ricerca web |
| Recupero su richiesta | ChatGPT-User, Claude-User, Perplexity-User | L’assistente non legge la pagina quando un utente la chiede; OpenAI e Perplexity avvertono che il robots.txt può non applicarsi |
| Token di controllo | Google-Extended, Applebot-Extended | Nessun crawler dedicato: escludono l’uso per il training, non l’inclusione nella ricerca |
Un caso concreto
Il responsabile marketing di un’azienda meccanica lombarda nota che ChatGPT, quando cerca sul web, cita sempre due concorrenti e mai il suo sito, che pure si posiziona bene su Google.
Nel robots.txt trova una regola aggiunta dall’IT un anno prima: “Disallow: /” per una lista di bot AI copiata da un forum. Nella lista ci sono GPTBot e ClaudeBot, ma anche OAI-SearchBot e PerplexityBot. Il sito è escluso dall’addestramento e, insieme, dalla ricerca.
L’azienda mantiene il blocco sui bot di addestramento e riapre quelli di ricerca e di recupero. Secondo la documentazione OpenAI la modifica viene recepita in circa 24 ore; da lì le pagine tornano idonee a comparire tra le fonti.
Riaprire l’accesso è la condizione, non la garanzia: essere citati dipende poi da quanto le pagine rispondono alla domanda. Caso illustrativo, non misurato.
Che cosa ne ricava chi pubblica
Il robots.txt è diventato una decisione di marketing, non solo tecnica.
- Separare sempre addestramento e ricerca: bloccare GPTBot o ClaudeBot è una scelta legittima, bloccare OAI-SearchBot o Claude-SearchBot equivale a rinunciare alle risposte con ricerca web.
- Non usare Google-Extended per uscire dai riassunti di Google: secondo Google non incide sull’inclusione in Search, di cui le AI Overviews fanno parte.
- Rendere leggibili le pagine aperte ai bot: contenuto principale nel codice HTML servito e dati strutturati coerenti con il testo.
- Rivedere le regole ogni trimestre: nomi e funzioni dei bot cambiano, e Anthropic per esempio distingue oggi ClaudeBot, Claude-SearchBot e Claude-User. Una lista copiata un anno fa può essere già superata.
frequenti
Domande frequenti sui crawler AI
Bloccare GPTBot toglie il sito da ChatGPT?
No. GPTBot raccoglie contenuti per l’addestramento, mentre la presenza nelle risposte con ricerca dipende da OAI-SearchBot. OpenAI precisa che le impostazioni sono indipendenti: si può consentire OAI-SearchBot e bloccare GPTBot.
Che cos’è Google-Extended?
È un token di controllo per il robots.txt, senza un user agent HTTP proprio. Gestisce l’uso dei contenuti per l’addestramento di Gemini e per il grounding in Gemini Apps e Vertex AI; secondo Google non incide sull’inclusione in Search né sul ranking.
I bot AI rispettano il robots.txt?
I crawler automatici di OpenAI, Anthropic e Perplexity si gestiscono dal robots.txt, secondo la loro documentazione. I fetcher avviati da un utente sono un caso a parte: OpenAI scrive che per ChatGPT-User le regole “may not apply”, Perplexity che Perplexity-User le “generally ignores”.
Quanti bot AI visitano un sito rispetto ai visitatori che rimandano?
Molti di più. Secondo Cloudflare, a luglio 2025 OpenAI scansionava circa 1.091 pagine per ogni visita rimandata, Anthropic circa 38.000 e Perplexity circa 195.
Conviene bloccare tutti i bot AI?
Per chi vuole visibilità nelle risposte AI, di solito no. Il blocco dei bot di ricerca e di recupero esclude il sito dalle fonti; quello dei bot di addestramento è una scelta separata, che riguarda l’uso dei contenuti nei modelli futuri.
Quanto tempo serve perché una modifica al robots.txt abbia effetto?
Dipende dalla piattaforma. OpenAI indica circa 24 ore perché i suoi sistemi recepiscano l’aggiornamento; nelle pagine ufficiali di Anthropic, Perplexity e Google consultate non è indicato un tempo preciso.
Riferimenti
OpenAI — Overview of OpenAI Crawlers
Documentazione ufficiale, consultata a ottobre 2026; GPTBot, OAI-SearchBot, ChatGPT-User, OAI-AdsBot. developers.openai.com
Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler?
Aprile 2026, centro assistenza; ClaudeBot, Claude-User, Claude-SearchBot. support.claude.com
Perplexity — Perplexity Crawlers
Documentazione ufficiale, consultata a ottobre 2026; PerplexityBot e Perplexity-User. docs.perplexity.ai
Google — List of Google’s common crawlers
Search Central, aggiornata a ottobre 2026; sezione Google-Extended. developers.google.com
Cloudflare — The crawl-to-click gap: Cloudflare data on AI bots, training, and referrals
29 agosto 2025, traffico della rete Cloudflare tra luglio 2024 e luglio 2025. blog.cloudflare.com
Consulente GEO · Kraków / Milano
Aiuta le aziende italiane a farsi menzionare e citare da ChatGPT, Gemini, Perplexity e AI Overviews. Vent’anni tra imprenditoria e consulenza digitale in Italia: ha guidato la strategia SEO di Bakeca.it, co-fondato e diretto Seolab, e dal 2022 è Evangelist in Digital360, prima SEO e oggi GEO. Laurea in Linguistica all’Università di Torino.