I ricercatori hanno sviluppato un nuovo attacco che rivela le vulnerabilità della privacy determinando se i tuoi dati sono stati utilizzati per formare i modelli di intelligenza artificiale.
Il metodo, chiamato Camia (attacco di inferenza di appartenenza consapevole del contesto), è stato sviluppato dai ricercatori di Coraggioso e il Università nazionale di Singapore ed è molto più efficace dei precedenti tentativi di sondaggio della “memoria” dei modelli AI.
Vi è una crescente preoccupazione della “memorizzazione dei dati” nell’IA, in cui i modelli memorizzano inavvertitamente e possono potenzialmente perdere informazioni sensibili dai loro set di addestramento. Nell’assistenza sanitaria, un modello addestrato su note cliniche potrebbe rivelare accidentalmente informazioni sensibili al paziente. Per le aziende, se le e -mail interne fossero utilizzate durante la formazione, un utente malintenzionato potrebbe essere in grado di ingannare un LLM nella riproduzione di comunicazioni aziendali private.
Tali preoccupazioni sulla privacy sono state amplificate dai recenti annunci, come il piano di LinkedIn di utilizzare i dati degli utenti per migliorare i suoi modelli AI generativi, sollevando domande sul fatto che i contenuti privati possano emergere nel testo generato.
Per testare questa perdita, gli esperti di sicurezza utilizzano attacchi di inferenza di appartenenza o MIA. In termini semplici, un MIA pone al modello una domanda critica: “Hai visto questo esempio durante l’allenamento?”. Se un utente malintenzionato può capire in modo affidabile la risposta, dimostra che il modello sta perdendo informazioni sui suoi dati di formazione, ponendo un rischio diretto sulla privacy.
L’idea principale è che i modelli spesso si comportano in modo diverso durante l’elaborazione dei dati su cui sono stati addestrati rispetto ai nuovi dati invisibili. I MIA sono progettati per sfruttare sistematicamente queste lacune comportamentali.
Fino ad ora, la maggior parte dei MIA sono stati in gran parte inefficaci contro gli AIS generativi moderni. Questo perché sono stati originariamente progettati per modelli di classificazione più semplici che forniscono un singolo output per input. LLMS, tuttavia, generano un token per tetto, con ogni nuova parola influenzata dalle parole che sono venute prima. Questo processo sequenziale significa che semplicemente guardare la fiducia generale per un blocco di testo perde la dinamica del momento a momento in cui si verificano effettivamente perdite.
L’intuizione chiave dietro il nuovo attacco di privacy di Camia è che la memorizzazione di un modello AI è dipendente dal contesto. Un modello di intelligenza artificiale si basa sulla memorizzazione più pesantemente quando è incerto su cosa dire dopo.
Ad esempio, dato il prefisso “Harry Potter è … scritto da … Il mondo di Harry …”, Nell’esempio seguente da Brave, un modello può facilmente indovinare che il token successivo è “Potter” attraverso la generalizzazione, perché il contesto fornisce indizi forti.
In tal caso, una previsione sicura non indica la memorizzazione. Tuttavia, se il prefisso è semplicemente “Harry”, prevedere “Potter” diventa molto più difficile senza avere sequenze di allenamento specifiche memorizzate. Una previsione a bassa perdita e ad alta fiducia in questo scenario ambiguo è un indicatore molto più forte della memorizzazione.
Camia è il primo attacco alla privacy su misura per sfruttare questa natura generativa dei moderni modelli di intelligenza artificiale. Tiene traccia di come l’incertezza del modello si evolve durante la generazione di testo, permettendogli di misurare la velocità con cui l’IA passa da “indovinare” a “richiamo fiducioso”. Operando a livello di token, può adattarsi alle situazioni in cui una bassa incertezza è causata da una semplice ripetizione e può identificare i sottili schemi della vera memorizzazione che altri metodi mancano.
I ricercatori hanno testato Camia sul punto di riferimento Mimir attraverso diversi modelli Pythia e GPT-Neo. Quando si attacca un modello Pythia di parametro 2.8b sul set di dati ARXIV, Camia ha quasi raddoppiato l’accuratezza del rilevamento dei metodi precedenti. Ha aumentato il tasso reale positivo dal 20,11% al 32,00%, mantenendo un tasso di falsi positivi molto basso di appena l’1%.
Anche il framework di attacco è efficiente dal punto di vista computazionale. Su una singola GPU A100, CAMIA può elaborare 1.000 campioni in circa 38 minuti, rendendolo uno strumento pratico per i modelli di controllo.
Questo lavoro ricorda all’industria dell’intelligenza artificiale i rischi per la privacy nella formazione di modelli sempre più grandi su vasti set di dati non filtrati. I ricercatori sperano che il loro lavoro stimoli lo sviluppo di più tecniche di conservazione della privacy e contribuiscano agli sforzi in corso per bilanciare l’utilità dell’IA con la privacy fondamentale degli utenti.
Vedi anche: Samsung Benchmarks Real Productivity of Enterprise AI Models
Vuoi saperne di più sull’intelligenza artificiale e sui big da parte dei leader del settore? Guardare AI e Big Data Expo si svolge ad Amsterdam, in California e a Londra. L’evento completo fa parte di Techex ed è collocato con altri eventi tecnologici leader, clicca Qui Per ulteriori informazioni.
AI News è alimentato da TechForge Media. Esplora altri prossimi eventi tecnologici aziendali e webinar Qui.
Fonte: www.artificialintelligence-news.com
