Quello del Regno Unito Centro nazionale per la sicurezza informatica (NCSC) ha lanciato un severo avvertimento sulla crescente vulnerabilità dei chatbot alla manipolazione da parte degli hacker, che potrebbe portare a conseguenze potenzialmente gravi nel mondo reale.
L’allarme arriva quando crescono le preoccupazioni sulla pratica degli attacchi “prompt injection”, in cui gli individui creano deliberatamente input o suggerimenti progettati per manipolare il comportamento dei modelli linguistici che sono alla base dei chatbot.
I chatbot sono diventati parte integrante di varie applicazioni come l’online banking e lo shopping grazie alla loro capacità di gestire richieste semplici. I modelli linguistici di grandi dimensioni (LLM), compresi quelli che alimentano ChatGPT di OpenAI e Bard, il chatbot AI di Google, sono stati ampiamente addestrati su set di dati che consentono loro di generare risposte simili a quelle umane alle richieste degli utenti.
L’NCSC ha evidenziato i crescenti rischi associati alla pronta iniezione dannosa, poiché i chatbot spesso facilitano lo scambio di dati con applicazioni e servizi di terze parti.
“Le organizzazioni che creano servizi che utilizzano LLM devono stare attente, come farebbero se utilizzassero un prodotto o una libreria di codici in versione beta”, ha spiegato l’NCSC.
“Potrebbero non consentire che il prodotto venga coinvolto nelle transazioni per conto del cliente e, si spera, non si fiderebbero completamente di esso. La stessa cautela dovrebbe applicarsi ai LLM.
Se gli utenti inseriscono affermazioni non familiari o sfruttano combinazioni di parole per sovrascrivere lo script originale di un modello, il modello può eseguire azioni non intenzionali. Ciò potrebbe potenzialmente portare alla generazione di contenuti offensivi, all’accesso non autorizzato a informazioni riservate o persino alla violazione dei dati.
Oseloka Obiora, CTO presso RiverSafeha dichiarato: “La corsa per abbracciare l’intelligenza artificiale avrà conseguenze disastrose se le aziende non riusciranno a implementare i controlli di due diligence di base necessari.
“È già stato dimostrato che i chatbot sono suscettibili di manipolazione e dirottamento da parte di comandi non autorizzati, un fatto che potrebbe portare a un forte aumento delle frodi, delle transazioni illegali e delle violazioni dei dati”.
Il rilascio da parte di Microsoft di una nuova versione del suo motore di ricerca Bing e bot conversazionale ha attirato l’attenzione su questi rischi.
Uno studente dell’Università di Stanford, Kevin Liu, ha utilizzato con successo l’iniezione rapida per esporre il messaggio iniziale di Bing Chat. Inoltre, il ricercatore di sicurezza Johann Rehberger ha scoperto che ChatGPT potrebbe essere manipolato per rispondere a richieste provenienti da fonti non intenzionali, aprendo possibilità di vulnerabilità indirette di prompt injection.
L’NCSC avverte che, sebbene gli attacchi di tipo “pronto iniezione” possano essere difficili da rilevare e mitigare, una progettazione olistica del sistema che consideri i rischi associati ai componenti di machine learning può aiutare a prevenire lo sfruttamento delle vulnerabilità.
Si suggerisce di implementare un sistema basato su regole insieme al modello di apprendimento automatico per contrastare azioni potenzialmente dannose. Rafforzando l’architettura di sicurezza dell’intero sistema, diventa possibile contrastare le iniezioni di prompt dannose.
L’NCSC sottolinea che per mitigare gli attacchi informatici derivanti dalle vulnerabilità del machine learning è necessario comprendere le tecniche utilizzate dagli aggressori e dare priorità alla sicurezza nel processo di progettazione.
Jake Moore, consulente globale per la sicurezza informatica presso ESETha commentato: “Quando si sviluppano applicazioni pensando alla sicurezza e comprendendo i metodi utilizzati dagli aggressori per sfruttare i punti deboli degli algoritmi di apprendimento automatico, è possibile ridurre l’impatto degli attacchi informatici derivanti dall’intelligenza artificiale e dall’apprendimento automatico.
“Sfortunatamente, la velocità di lancio o il risparmio sui costi possono in genere sovrascrivere la programmazione di sicurezza standard e a prova di futuro, lasciando le persone e i loro dati a rischio di attacchi sconosciuti. È fondamentale che le persone siano consapevoli che ciò che inseriscono nei chatbot non è sempre protetto”.
Poiché i chatbot continuano a svolgere un ruolo fondamentale in varie interazioni e transazioni online, l’avvertimento dell’NCSC serve a ricordare tempestivamente l’imperativo di proteggersi dall’evoluzione delle minacce alla sicurezza informatica.
(Fotografato da Google DeepMind SU Unsplash)
Guarda anche: OpenAI lancia ChatGPT Enterprise per accelerare le operazioni aziendali
Vuoi saperne di più sull’intelligenza artificiale e sui big data dai leader del settore? Guardare Fiera dell’intelligenza artificiale e dei big data che si svolge ad Amsterdam, in California, e a Londra. L’evento completo è co-localizzato con Fiera sulla sicurezza informatica e sul cloud E Settimana della trasformazione digitale.
Esplora altri prossimi eventi e webinar sulla tecnologia aziendale forniti da TechForge Qui.
