I consigli di amministrazione premono per ottenere guadagni di produttività da modelli linguistici di grandi dimensioni e assistenti di intelligenza artificiale. Tuttavia, le stesse funzionalità che rendono utile l’intelligenza artificiale (navigare in siti Web live, ricordare il contesto dell’utente e connettersi ad app aziendali) espandono anche la superficie di attacco informatico.
I ricercatori di Tenable hanno pubblicato una serie di vulnerabilità e attacchi con il titolo “HackedGPT”, mostrando come il prompt injection indiretto e le tecniche correlate potrebbero consentire l’esfiltrazione dei dati e la persistenza del malware. Secondo quanto riferito, alcuni problemi sono stati risolti, mentre altri, secondo quanto riferito, rimangono sfruttabili al momento della divulgazione di Tenable emesso un avviso da parte dell’azienda.
L’eliminazione dei rischi intrinseci dalle operazioni degli assistenti IA richiede governance, controlli e metodi operativi che trattino l’IA come un utente o un dispositivo, nella misura in cui la tecnologia dovrebbe essere soggetta a controlli e monitoraggio rigorosi
La ricerca Tenable mostra i fallimenti che possono trasformare gli assistenti AI in problemi di sicurezza. Il prompt injection indiretto nasconde le istruzioni nel contenuto web che l’assistente legge durante la navigazione, istruzioni che attivano l’accesso ai dati che l’utente non ha mai voluto. Un altro vettore prevede l’uso di una query front-end che trasmette istruzioni dannose.
L’impatto aziendale è chiaro, inclusa la necessità di risposta agli incidenti, revisione legale e normativa e misure adottate per ridurre i danni alla reputazione.
Esistono già ricerche che lo dimostrano gli assistenti possono divulgare informazioni personali o sensibili attraverso tecniche di iniezione, e i fornitori di intelligenza artificiale e gli esperti di sicurezza informatica devono farlo problemi di patch man mano che emergono.
Il modello è familiare a chiunque operi nel settore tecnologico: man mano che le funzionalità si espandono, aumentano anche le modalità di fallimento. Trattare gli assistenti IA come applicazioni attive connesse a Internet – e non come fattori di produttività – può migliorare la resilienza.
Come governare gli assistenti AI, in pratica
1) Stabilire un registro del sistema AI
Inventariare ogni modello, assistente o agente in uso: nel cloud pubblico, in locale e nel software come servizio, in linea con le Manuale del NIST AI RMF. Proprietario del record, scopo, funzionalità (navigazione, connettori API) e domini di dati a cui si accede. Anche senza questo elenco di risorse AI, gli “agenti ombra” possono persistere con privilegi che nessuno tiene traccia. L’IA ombra – a un certo punto incoraggiata da aziende come Microsoft, che incoraggiava gli utenti a distribuire licenze Copilot domestiche al lavoro – rappresenta una minaccia significativa.
2) Identità separate per esseri umani, servizi e agenti
La gestione dell’identità e degli accessi unisce account utente, account di servizio e dispositivi di automazione. Gli assistenti che accedono a siti Web, chiamano strumenti e scrivono dati necessitano di identità distinte e sono soggetti a politiche zero trust di privilegio minimo. La mappatura delle catene da agente ad agente (chi ha chiesto chi fare cosa, su quali dati e quando) è una traccia minima che può garantire un certo grado di responsabilità. Vale la pena notare che l’IA agentica è suscettibile di risultati e azioni “creative”, ma a differenza del personale umano, non è vincolata da politiche disciplinari.
3) Vincolare le caratteristiche rischiose in base al contesto
Rendi la navigazione e le azioni indipendenti intraprese dagli assistenti AI attivabili in base al caso d’uso. Per gli assistenti a contatto con il cliente, impostare tempi di conservazione brevi a meno che non vi siano altrimenti una ragione forte e una base legale. Per l’ingegneria interna, utilizzare gli assistenti IA ma solo in progetti separati con registrazione rigorosa. Applicare la prevenzione della perdita di dati al traffico del connettore se gli assistenti possono raggiungere archivi di file, messaggistica o posta elettronica. Precedenti problemi con plug-in e connettori dimostrare come le integrazioni aumentano l’esposizione.
4) Monitora come qualsiasi app rivolta a Internet
- Cattura le azioni dell’assistente e le chiamate agli strumenti come registri strutturati.
- Avviso su anomalie: picchi improvvisi nella navigazione verso domini sconosciuti; tentativi di riassumere blocchi di codice opachi; esplosioni insolite di scrittura della memoria; o accesso al connettore al di fuori dei limiti della policy.
- Incorporare i test di iniezione nei controlli di pre-produzione.
5) Costruisci il muscolo umano
Forma sviluppatori, ingegneri cloud e analisti a riconoscere i sintomi dell’iniezione. Incoraggiare gli utenti a segnalare comportamenti strani (ad esempio, un assistente che riassume inaspettatamente il contenuto di un sito che non hanno aperto). Rendi normale la messa in quarantena di un assistente, la cancellazione della memoria e la rotazione delle sue credenziali dopo eventi sospetti. Il divario di competenze è reale; senza un miglioramento delle competenze, la governance ritarderà l’adozione.
Punti decisionali per i leader IT e cloud
| Domanda | Perché è importante |
|---|---|
| Quali assistenti possono navigare sul Web o scrivere dati? | La navigazione e la memoria sono percorsi comuni di iniezione e persistenza; vincolare per caso d’uso. |
| Gli agenti hanno identità distinte e delega verificabile? | Impedisce “chi ha fatto cosa?” lacune quando le istruzioni vengono seminate indirettamente. |
| Esiste un registro dei sistemi di intelligenza artificiale con proprietari, ambiti e conservazione? | Supporta la governance, il corretto dimensionamento dei controlli e la visibilità del budget. |
| Come sono governati connettori e plugin? | Le integrazioni di terze parti hanno una storia di problemi di sicurezza; applicare privilegi minimi e DLP. |
| Testiamo i vettori a 0 e 1 clic prima del go-live? | La ricerca pubblica mostra che entrambi sono fattibili tramite collegamenti o contenuti creati appositamente. |
| I fornitori applicano tempestivamente le patch e pubblicano le correzioni? | La velocità delle funzionalità significa che appariranno nuovi problemi; verificare la reattività. |
Rischi, visibilità dei costi e fattore umano
- Costi nascosti: gli assistenti che esplorano o conservano la memoria consumano elaborazione, archiviazione e uscita in modi che i team finanziari e coloro che monitorano l’utilizzo di Xaas per ciclo potrebbero non essere stati modellati. Un registro e una misurazione riducono le sorprese.
- Lacune nella governance: i framework di audit e conformità creati per gli utenti umani non acquisiranno automaticamente la delega da agente ad agente. Allinea i controlli in base a Rischi OWASP LLM E Categorie NIST AI RMF.
- Rischio per la sicurezza: il prompt injection indiretto può essere invisibile agli utenti, trasmesso da media, formattazione di testo o codice, come dimostrato dalla ricerca.
- Divario di competenze: molti team non hanno ancora unito le pratiche di intelligenza artificiale/ML e sicurezza informatica. Investi in corsi di formazione che coprano la modellazione delle minacce e i test di iniezione degli assistenti.
- Postura in evoluzione: aspettatevi una cadenza di nuovi difetti e correzioni. Risanamento da parte di OpenAI di un percorso a zero clic alla fine del 2025 è un promemoria la postura del fornitore cambia rapidamente e necessita di verifica.
In conclusione
La lezione per i dirigenti è semplice: trattare gli assistenti IA come potenti applicazioni collegate in rete con un proprio ciclo di vita e una propensione sia a essere oggetto di attacchi sia a intraprendere azioni imprevedibili. Metti in atto un registro, identità separate, limita le funzionalità rischiose per impostazione predefinita, registra tutto ciò che è significativo e prova il contenimento.
Con questi guardrail in atto, è più probabile che l’intelligenza artificiale degli agenti fornisca efficienza e resilienza misurabili, senza diventare silenziosamente il tuo nuovo vettore di violazione.
(Fonte immagine: “The Enemy Within Unleashed” di aha42 | tehaha è concesso in licenza con CC BY-NC 2.0.)
Vuoi saperne di più sull’intelligenza artificiale e sui big data dai leader del settore? Guardare Fiera dell’intelligenza artificiale e dei big data che si svolge ad Amsterdam, in California, e a Londra. L’evento completo è parte di TechEx e co-localizzato con altri importanti eventi tecnologici. Clic Qui per ulteriori informazioni
AI News è alimentato da Media TechForge. Esplora altri prossimi eventi e webinar sulla tecnologia aziendale Qui.
Fonte: www.artificialintelligence-news.com
