Esaminando la principale minaccia alla sicurezza dell’IA

 | Intelligenza-Artificiale

Esperti di sicurezza presso JFrog hanno trovato una minaccia di “dirottamento immediato” che sfrutta i punti deboli nel modo in cui i sistemi di intelligenza artificiale comunicano tra loro utilizzando MCP (Model Context Protocol).

I leader aziendali vogliono rendere l’intelligenza artificiale più utile utilizzandola direttamente dati aziendali e strumenti. Ma collegare l’intelligenza artificiale in questo modo apre anche nuovi rischi per la sicurezza, non nell’intelligenza artificiale stessa, ma nel modo in cui è tutta collegata. Ciò significa che CIO e CISO devono pensare a un nuovo problema: mantenere sicuro il flusso di dati che alimenta l’intelligenza artificiale, proprio come proteggono l’intelligenza artificiale stessa.

Perché gli attacchi di intelligenza artificiale che prendono di mira protocolli come MCP sono così pericolosi

I modelli di intelligenza artificiale – non importa se sono su Google, Amazon o in esecuzione su dispositivi locali – hanno un problema di base: non sanno cosa sta succedendo in questo momento. Sanno solo su cosa sono stati addestrati. Non sanno su quale codice sta lavorando un programmatore o cosa c’è in un file su un computer.

I boffin a Antropico ha creato l’MCP per risolvere questo problema. MCP è un modo per l’intelligenza artificiale di connettersi al mondo reale, consentendole di utilizzare in sicurezza dati locali e servizi online. È ciò che consente a un assistente come Claude di capire cosa significa quando si indica un pezzo di codice e gli si chiede di rielaborarlo.

Tuttavia, la ricerca di JFrog mostra che un certo modo di utilizzare MCP ha una debolezza di dirottamento immediato che può trasformare questo strumento di intelligenza artificiale da sogno in un problema di sicurezza da incubo.

Immagina che un programmatore chieda a un assistente AI di consigliare uno strumento Python standard per lavorare con le immagini. L’intelligenza artificiale dovrebbe suggerire Cuscinoche è una scelta buona e popolare. Ma, a causa di un difetto (CVE-2025-6515) nel avenapp-mcp sistema, qualcuno potrebbe intrufolarsi nella sessione dell’utente. Potrebbero inviare la propria richiesta falsa e il server la tratterebbe come se provenisse dall’utente reale.

Quindi, il programmatore riceve un cattivo suggerimento dall’assistente AI che consiglia uno strumento falso chiamato il miglior pacchetto di elaborazione delle immagini. Questo è un grave attacco alla catena di fornitura del software. Qualcuno potrebbe utilizzare questo dirottamento immediato per inserire codice errato, rubare dati o eseguire comandi, il tutto apparendo come una parte utile del toolkit del programmatore.

Come funziona questo attacco di dirottamento rapido MCP

Questo tempestivo attacco di dirottamento compromette il modo in cui il sistema comunica utilizzando MCP, piuttosto che la sicurezza dell’IA stessa. Il punto debole specifico è stato riscontrato nella configurazione MCP del sistema Oat++ C++, che collega i programmi allo standard MCP.

Il problema riguarda il modo in cui il sistema gestisce le connessioni utilizzando Server-Sent Events (SSE). Quando un utente reale si connette, il server gli fornisce un ID di sessione. Tuttavia, la funzione difettosa utilizza l’indirizzo di memoria della sessione del computer come ID di sessione. Ciò va contro la regola del protocollo secondo cui gli ID di sessione dovrebbero essere univoci e crittograficamente sicuri.

Si tratta di una progettazione errata poiché i computer spesso riutilizzano gli indirizzi di memoria per risparmiare risorse. Un utente malintenzionato può trarne vantaggio creando e chiudendo rapidamente molte sessioni per registrare questi ID di sessione prevedibili. Successivamente, quando un utente reale si connette, potrebbe ottenere uno di questi ID riciclati di cui già dispone l’aggressore.

Una volta che l’aggressore ha un ID di sessione valido, può inviare le proprie richieste al server. Il server non è in grado di distinguere tra l’aggressore e l’utente reale, quindi invia le risposte dannose alla connessione dell’utente reale.

Anche se alcuni programmi accettano solo determinate risposte, gli aggressori spesso riescono a aggirare il problema inviando molti messaggi con numeri di eventi comuni finché non ne viene accettata una. Ciò consente all’attaccante di rovinare il comportamento del modello senza modificare il modello AI stesso. Qualsiasi azienda che utilizza avenapp-mcp con HTTP SSE abilitato su una rete a cui un utente malintenzionato può accedere è a rischio.

Cosa dovrebbero fare i leader della sicurezza AI?

La scoperta di questo attacco di dirottamento tempestivo di MCP è un serio avvertimento per tutti i leader tecnologici, in particolare CISO e CTO, che stanno costruendo o utilizzando assistenti IA. Man mano che l’intelligenza artificiale diventa sempre più parte i nostri flussi di lavoro attraverso protocolli come MCP, si corrono anche nuovi rischi. Mantenere sicura l’area attorno all’IA è ora una priorità assoluta.

Anche se questo CVE specifico influisce su un sistema, l’idea di un rapido dirottamento è generale. Per proteggersi da questo e da attacchi simili, i leader devono stabilire nuove regole per i loro sistemi di intelligenza artificiale.

Innanzitutto, assicurati che tutti i servizi di intelligenza artificiale utilizzino una gestione sicura delle sessioni. I team di sviluppo devono assicurarsi che i server creino ID di sessione utilizzando generatori casuali efficaci. Questo dovrebbe essere un must in qualsiasi lista di controllo di sicurezza per i programmi di intelligenza artificiale. L’uso di identificatori prevedibili come gli indirizzi di memoria non va bene.

In secondo luogo, rafforzare le difese lato utente. I programmi client dovrebbero essere progettati per rifiutare qualsiasi evento che non corrisponda agli ID e ai tipi previsti. Gli ID evento semplici e incrementali corrono il rischio di attacchi di tipo spray e devono essere sostituiti con identificatori imprevedibili che non entrino in conflitto.

Infine, utilizza i principi zero-trust per i protocolli di intelligenza artificiale. I team di sicurezza devono controllare l’intera configurazione dell’intelligenza artificiale, dal modello di base ai protocolli e al middleware che la collegano ai dati. Questi canali necessitano di una forte separazione e scadenza delle sessioni, come la gestione delle sessioni utilizzata nelle applicazioni web.

Questo attacco di dirottamento immediato di MCP è un perfetto esempio di come un problema noto di un’applicazione Web, il dirottamento della sessione, si stia manifestando in un modo nuovo e pericoloso nell’intelligenza artificiale. Proteggere questi nuovi strumenti di intelligenza artificiale significa applicare queste solide basi di sicurezza per fermare gli attacchi a livello di protocollo.

Vedi anche: In che modo l’adozione dell’intelligenza artificiale sta trasformando le operazioni IT da reattive a proattive

Banner per gli eventi AI & Big Data Expo di TechEx.

Vuoi saperne di più sull’intelligenza artificiale e sui big data dai leader del settore? Guardare Fiera dell’intelligenza artificiale e dei big data che si svolge ad Amsterdam, in California, e a Londra. L’evento completo è parte di TechEx ed è situato in concomitanza con altri importanti eventi tecnologici tra cui Fiera della sicurezza informaticaclic Qui per ulteriori informazioni

AI News è alimentato da Media TechForge. Esplora altri prossimi eventi e webinar sulla tecnologia aziendale Qui.

Fonte: www.artificialintelligence-news.com

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *