Una parte fondamentale del processo di salvaguardia di OpenAI è il “red teaming”, una metodologia strutturata che utilizza partecipanti sia umani che IA per esplorare potenziali rischi e vulnerabilità nei nuovi sistemi.
Storicamente, OpenAI si è impegnata in sforzi di red teaming prevalentemente attraverso test manuali, che coinvolgono gli individui alla ricerca dei punti deboli. Questo è stato utilizzato in particolare durante il test del loro modello di generazione di immagini DALL·E 2 all’inizio del 2022, dove esperti esterni sono stati invitati a identificare potenziali rischi. Da allora, OpenAI ha ampliato e perfezionato le sue metodologie, incorporando approcci automatizzati e misti per una valutazione del rischio più completa.
“Siamo ottimisti sul fatto che possiamo utilizzare un’intelligenza artificiale più potente per ampliare la scoperta degli errori dei modelli”, ha affermato OpenAI. Questo ottimismo è radicato nell’idea che i processi automatizzati possono aiutare a valutare i modelli e ad addestrarli a essere più sicuri riconoscendo modelli ed errori su scala più ampia.
Nella loro ultima spinta al progresso, OpenAI condivide due importanti documenti sul red teaming: un libro bianco che descrive in dettaglio le strategie di coinvolgimento esterno e uno studio di ricerca che introduce un nuovo metodo per il red teaming automatizzato. Questi contributi mirano a rafforzare il processo e i risultati del red teaming, portando in definitiva a implementazioni di IA più sicure e responsabili.
Mentre l’intelligenza artificiale continua ad evolversi, comprendere le esperienze degli utenti e identificare rischi come abusi e usi impropri sono cruciali per ricercatori e sviluppatori. Il team rosso fornisce un metodo proattivo per valutare questi rischi, soprattutto se integrato da approfondimenti di una serie di esperti esterni indipendenti. Questo approccio non solo aiuta a stabilire parametri di riferimento, ma facilita anche il miglioramento delle valutazioni della sicurezza nel tempo.
Il tocco umano
OpenAI ha condiviso quattro passaggi fondamentali nel proprio white paper, “L'approccio di OpenAI al Red Teaming esterno per modelli e sistemi di intelligenza artificiale” per progettare efficaci campagne di red teaming:
- Composizione delle squadre rosse: La selezione dei membri del team si basa sugli obiettivi della campagna. Ciò spesso coinvolge individui con prospettive diverse, come competenze in scienze naturali, sicurezza informatica e politica regionale, garantendo che le valutazioni coprano l’ampiezza necessaria.
- Accesso alle versioni del modello: Chiarire a quali versioni di un modello avranno accesso i Red Teamer può influenzare i risultati. I modelli in fase iniziale possono rivelare rischi intrinseci, mentre versioni più sviluppate possono aiutare a identificare le lacune nelle misure di sicurezza pianificate.
- Guida e documentazione: Le interazioni efficaci durante le campagne si basano su istruzioni chiare, interfacce adeguate e documentazione strutturata. Ciò comporta la descrizione dei modelli, delle garanzie esistenti, delle interfacce di test e delle linee guida per la registrazione dei risultati.
- Sintesi e valutazione dei dati: Dopo la campagna, i dati vengono valutati per determinare se gli esempi sono in linea con le politiche esistenti o richiedono nuove modifiche comportamentali. I dati valutati forniscono quindi valutazioni ripetibili per aggiornamenti futuri.
Una recente applicazione di questa metodologia ha coinvolto la preparazione di OpenAI o1 famiglia di modelli per uso pubblico, testandone la resistenza a potenziali usi impropri e valutando la loro applicazione in vari campi come la pianificazione degli attacchi nel mondo reale, le scienze naturali e la ricerca sull’intelligenza artificiale.
Squadra rossa automatizzata
Il team rosso automatizzato cerca di identificare i casi in cui l’intelligenza artificiale potrebbe fallire, in particolare per quanto riguarda le questioni legate alla sicurezza. Questo metodo eccelle su larga scala, generando rapidamente numerosi esempi di potenziali errori. Tuttavia, gli approcci automatizzati tradizionali hanno difficoltà a produrre strategie di attacco diversificate e di successo.
La ricerca di OpenAI introduce “Red Teaming diversificato ed efficace con premi generati automaticamente e apprendimento di rinforzo in più fasi”, un metodo che incoraggia una maggiore diversità nelle strategie di attacco pur mantenendo l’efficacia.
Questo metodo prevede l’utilizzo dell’intelligenza artificiale per generare diversi scenari, come consigli illeciti, e l’addestramento di modelli di red teaming per valutare criticamente questi scenari. Il processo premia la diversità e l’efficacia, promuovendo valutazioni di sicurezza più varie e complete.
Nonostante i suoi vantaggi, il team rosso presenta dei limiti. Cattura i rischi in un momento specifico, che può evolversi con lo sviluppo dei modelli di intelligenza artificiale. Inoltre, il processo di red teaming può inavvertitamente creare rischi per le informazioni, allertando potenzialmente gli autori malintenzionati di vulnerabilità non ancora ampiamente conosciute. La gestione di questi rischi richiede protocolli rigorosi e un’informativa responsabile.
Sebbene il red teaming continui a essere fondamentale nella scoperta e nella valutazione del rischio, OpenAI riconosce la necessità di incorporare prospettive pubbliche più ampie sui comportamenti e le politiche ideali dell’IA per garantire che la tecnologia si allinei ai valori e alle aspettative della società.
Vedi anche: L’UE presenta una bozza di linee guida normative per i modelli di IA
Vuoi saperne di più sull'intelligenza artificiale e sui big data dai leader del settore? Guardare Fiera dell'intelligenza artificiale e dei big data che si svolgerà ad Amsterdam, in California, e a Londra. L'evento completo è collocato in contemporanea con altri eventi importanti, tra cui Conferenza sull'automazione intelligente, BlockX, Settimana della trasformazione digitaleE Fiera sulla sicurezza informatica e sul cloud.
Esplora altri prossimi eventi e webinar sulla tecnologia aziendale forniti da TechForge Qui.
Fonte: www.artificialintelligence-news.com
