I crawler degli agenti AI, i bot che recuperano le pagine in tempo reale per conto di una persona in attesa di una risposta, verranno bloccati per impostazione predefinita su una fetta del web dal 15 settembre in poi. Cloudflare annunciato il cambiamento è avvenuto il 1 luglio e da allora la maggior parte della copertura si è concentrata su Google. La parte più utile è ciò che chiede a tutti gli agenti edilizi e ciò che offre loro in cambio.
Cloudflare ha sostituito il suo switch AI-bot a blocco singolo con tre categorie. La ricerca copre i bot che indicizzano una pagina per rispondere a domande al riguardo in un secondo momento. L’agente copre i sistemi automatizzati che agiscono in tempo reale per un utente, inclusi il bot di recupero di ChatGPT e gli agenti di guida del browser. La formazione copre i crawler che inseriscono i contenuti nei pesi di un modello. I controlli sono stati attivati il 1° luglio per ogni cliente, compreso il livello gratuito.
Dal 15 settembre cambiano le impostazioni predefinite. Formazione e Agente verranno bloccati sulle pagine che visualizzano annunci, mentre la Ricerca rimarrà consentita. Le nuove impostazioni predefinite si applicano ai domini appena inseriti in Cloudflare, ai nuovi siti configurati dai clienti esistenti e a tutti i clienti esistenti del livello gratuito.
Chi non li desidera può disattivarli tramite le proprie impostazioni di sicurezza prima della data.
La logica di Cloudflare è che una pubblicità è la prova che una pagina è stata creata affinché un essere umano possa accedervi. Un crawler di ricerca che rimanda un lettore è un referral. Un bot che legge la pagina e passa la risposta a qualcun altro non lo è.
In cosa si imbattono ora i crawler degli agenti IA
Le distribuzioni agentic sono state basate sul presupposto che il Web aperto rimanga aperto. Un agente di ricerca recupera la pagina dei prezzi di un concorrente. Uno strumento di monitoraggio controlla gli annunci di un fornitore. Un agente del servizio clienti estrae la scheda delle specifiche del produttore. Niente di tutto ciò implica una licenza e fino ad ora nessuno di questi ne aveva bisogno.
Cloudflare si trova di fronte a gran parte del traffico web mondiale e i suoi blocchi operano a livello di rete piuttosto che come suggerimento di robots.txt che un crawler può ignorare. Le pagine supportate da pubblicità sono esattamente le pagine desiderate dagli agenti, perché è lì che vivono notizie, recensioni, prezzi e copertura dei prodotti. La modalità di fallimento per un agente aziendale non è una causa. È silenzio, o una risposta costruita a partire da ciò che può ancora raggiungere.
C’è una complicazione a forma di Google. Googlebot esegue la scansione sia per la ricerca che per la formazione in un unico bot, quindi in base alla regola più restrittiva, un sito che blocca la formazione blocca anche Googlebot. Il CEO di Cloudflare, Matthew Prince, ha affermato che la società spera che i cambiamenti “incoraggino i crawler ad uso misto a separare la ricerca dall’uso e dalla formazione degli agenti”, che è un modo educato per dire che il punto è la pressione.
Ottenere l’autorizzazione per i crawler dell’agente AI
Chiunque utilizzi agenti dovrebbe iniziare calcolando quale dei propri account Cloudflare verrà letto come classe Agent. La classificazione è comportamentale piuttosto che qualcosa a cui si aderisce, quindi un agente di ricerca che naviga in tempo reale viene catturato indipendentemente dal fatto che il suo operatore lo consideri o meno un crawler.
Aspettatevi una copertura ridotta piuttosto che un fallimento netto, perché il blocco arriva su pagine supportate da pubblicità e lascia il resto raggiungibile. L’accesso negoziato, non una stringa user-agent riscritta, è la soluzione.
Gli editori hanno un elenco di compiti diverso. Controlla prima il tuo livello, poiché i clienti esistenti del livello gratuito verranno spostati automaticamente alle nuove impostazioni predefinite il 15 settembre, un dettaglio che la maggior parte della copertura ha saltato. Quindi decidi se bloccare la formazione vale quello che costa, perché porta con sé Googlebot e con esso la tua visibilità nelle ricerche.
Il meccanismo che vale la pena guardare è il denaro. Il Pay Per Crawl sta diventando Pay Per Use, con Ceramic.ai che paga gli editori quando i loro contenuti appaiono nei risultati di ricerca AI e You.com che paga quando un agente raggiunge contenuti premium. Cloudflare afferma che più della metà del traffico del crawler AI viene speso per recuperare pagine che non sono cambiate, quindi ci sono sprechi da entrambe le parti che vale la pena quantificare.
Questo è il primo round della battaglia sui contenuti, in cui la risposta offerta è una tariffa piuttosto che un muro.
Un punto debole risiede nella tassonomia stessa. Ricerca, agente e formazione sono comportamenti che le società di intelligenza artificiale dichiarano nei confronti dei propri robot e un’azienda che preferirebbe non classificare la propria formazione come formazione ha un ovvio incentivo. L’annuncio non spiega cosa lo ferma.
L’accesso al web aperto è gratuito e illimitato da trent’anni e ora il conto è dettagliato. I creatori di agenti che risolvono l’accesso prima di settembre hanno un problema realizzabile. Quelli che lo scopriranno da un 403 ricostruiranno al volo.
Vedi anche: L’integrazione di Visa ChatGPT consente l’acquisto al dettaglio da parte di agenti AI
Vuoi saperne di più sull’intelligenza artificiale e sui big data dai leader del settore? Guardare Fiera dell’intelligenza artificiale e dei big data che si svolge ad Amsterdam, in California, e a Londra. L’evento completo è parte di TechEx ed è situato in concomitanza con altri importanti eventi tecnologici tra cui Fiera sulla sicurezza informatica e sul cloud. Clic Qui per ulteriori informazioni
AI News è alimentato da Media TechForge. Esplora altri prossimi eventi e webinar sulla tecnologia aziendale Qui.
Fonte: www.artificialintelligence-news.com
