// PUNTO INFORMATICO — INTELLIGENZA ARTIFICIALE
Cloudflare bloccherà i bot usati per indicizzazione e scraping
Cloudflare ha comunicato quando inizierà a bloccare i bot AI ad uso misto, mettendo in pratica il piano anticipato un anno fa. Google e altre aziende dovranno separare i crawler usati per l’indicizzazione delle pagine web da quelli che effettuano lo scraping dei contenuti sfruttati per l’addestramento dei modelli AI. Gli editori avranno così un maggiore controllo.
Cloudflare ha pubblicato alcuni dati aggiornati rispetto a quelli rilevati nel corso del 2025. Oggi oltre il 75% delle informazioni viene cercata sui social media e con i servizi di intelligenza artificiale, come AI Overview e AI Mode di Google. Oltre il 50% del traffico su Internet è non umano.
L’uso di bot e agenti AI comporta però una riduzione dei guadagni (pubblicità e abbonamenti) per gli editori, in quanto accedono ai contenuti senza pagare nulla. Diverse aziende AI (Google in particolare) usano crawler che combinano funzionalità di indicizzazione, addestramento e agentiche. Gli editori non possono bloccarli perché i loro siti non verrebbero più indicizzati (scomparirebbero dai risultati delle ricerche).
Cloudflare blocca il bot Google-Extended di Gemini per impostazione predefinita, ma non può bloccare Googlebot, in quanto viene usato sia per l’indicizzazione che per i servizi AI Overview e AI Mode, integrati nel motore di ricerca. L’azienda californiana ha comunicato che, a partire dal 15 settembre 2026, i nuovi clienti e i vecchi per i nuovi siti potranno usare nuovi controlli relativi ai bot AI.
Per impostazione predefinita verrà bloccato l’accesso alle pagine che ospitano inserzioni pubblicitarie ai bot usati per lo scraping e agli agenti AI. Ciò significa che i crawler ad uso misto, come Googlebot, non potranno accedere alle pagine. Ovviamente le impostazioni potranno essere cambiate dai clienti di Cloudflare. Lo scopo è spingere i provider AI a separare i bot in base alle funzionalità.
L’azienda di San Francisco ha inoltre annunciato la versione aggiornata di Pay per Crawl, denominata ora Pay per Use. Gli editori possono stabilire un prezzo per i contenuti che creano valore (quando mostrati nelle risposte dei chatbot), invece che in base all’accesso da parte dei bot.