I ricercatori del Università delle Scienze di Tokio (TUS) hanno sviluppato un metodo per consentire ai modelli di intelligenza artificiale su larga scala di “dimenticare” selettivamente classi specifiche di dati.
I progressi nell’intelligenza artificiale hanno fornito strumenti in grado di rivoluzionare vari ambiti, dalla sanità alla guida autonoma. Tuttavia, con l’avanzare della tecnologia, aumentano anche le sue complessità e considerazioni etiche.
Il paradigma dei sistemi di intelligenza artificiale pre-addestrati su larga scala, come ChatGPT di OpenAI e CLIP (Contrastive Language–Image Pre-training), ha rimodellato le aspettative nei confronti delle macchine. Questi modelli altamente generalisti, in grado di gestire una vasta gamma di compiti con precisione costante, hanno visto un’adozione diffusa sia per uso professionale che personale.
Tuttavia, tale versatilità ha un prezzo elevato. La formazione e l’esecuzione di questi modelli richiedono quantità prodigiose di energia e tempo, sollevando problemi di sostenibilità, oltre a richiedere hardware all’avanguardia significativamente più costoso dei computer standard. Ad aggravare questi problemi c’è il fatto che le tendenze generaliste possono ostacolare l’efficienza dei modelli di intelligenza artificiale quando applicati a compiti specifici.
Ad esempio, “nelle applicazioni pratiche, la classificazione di tutti i tipi di classi di oggetti è raramente richiesta”, spiega il professore associato Go Irie, che ha guidato la ricerca. “Ad esempio, in un sistema di guida autonoma sarebbe sufficiente riconoscere classi limitate di oggetti come automobili, pedoni e segnali stradali.
“Non avremmo bisogno di riconoscere cibo, mobili o specie animali. Mantenere le classi che non necessitano di essere riconosciute può ridurre l’accuratezza complessiva della classificazione, oltre a causare svantaggi operativi come lo spreco di risorse computazionali e il rischio di fuga di informazioni”.
Una potenziale soluzione risiede nella formazione di modelli in grado di “dimenticare” informazioni ridondanti o non necessarie, ottimizzando i processi per concentrarsi esclusivamente su ciò che è richiesto. Sebbene alcuni metodi esistenti soddisfino già questa esigenza, tendono ad assumere un approccio “white box” in cui gli utenti hanno accesso all'architettura interna e ai parametri di un modello. Spesso, tuttavia, gli utenti non ottengono tale visibilità.
I sistemi di intelligenza artificiale “black-box”, più comuni a causa di restrizioni commerciali ed etiche, nascondono i loro meccanismi interni, rendendo impraticabili le tradizionali tecniche di oblio. Per colmare questa lacuna, il team di ricerca si è rivolto all’ottimizzazione senza derivati, un approccio che evita la dipendenza dagli inaccessibili meccanismi interni di un modello.
Avanzare attraverso l'oblio
Lo studio, che sarà presentato alla conferenza Neural Information Processing Systems (NeurIPS) nel 2024, introduce una metodologia denominata “oblio della scatola nera”.
Il processo modifica i prompt di input (istruzioni di testo fornite ai modelli) in cicli iterativi per fare in modo che l’IA “dimentichi” progressivamente determinate classi. Il professore associato Irie ha collaborato al lavoro con i coautori Yusuke Kuwana e Yuta Goto (entrambi del TUS), insieme al dottor Takashi Shibata del NEC Corporation.
Per i loro esperimenti, i ricercatori hanno preso di mira CLIP, un modello di linguaggio visivo con capacità di classificazione delle immagini. Il metodo sviluppato si basa sulla Covariance Matrix Adaptation Evolution Strategy (CMA-ES), un algoritmo evolutivo progettato per ottimizzare le soluzioni passo dopo passo. In questo studio, CMA-ES è stato sfruttato per valutare e affinare i suggerimenti forniti a CLIP, sopprimendo in definitiva la sua capacità di classificare categorie di immagini specifiche.
Man mano che il progetto andava avanti, sorsero delle sfide. Le tecniche di ottimizzazione esistenti faticavano a adattarsi a volumi più ampi di categorie mirate, portando il team a ideare una nuova strategia di parametrizzazione nota come “condivisione del contesto latente”.
Questo approccio suddivide il contesto latente – una rappresentazione delle informazioni generate dai prompt – in parti più piccole e più gestibili. Assegnando determinati elementi a un singolo token (parola o carattere) e riutilizzandone altri su più token, hanno ridotto drasticamente la complessità del problema. Fondamentalmente, ciò ha reso il processo trattabile dal punto di vista computazionale anche per applicazioni estese sull'oblio.
Attraverso test di benchmark su più set di dati di classificazione delle immagini, i ricercatori hanno convalidato l’efficacia dell’oblio della scatola nera, raggiungendo l’obiettivo di fare in modo che CLIP “dimentichi” circa il 40% delle classi target senza accesso diretto all’architettura interna del modello AI.
Questa ricerca segna il primo tentativo riuscito di indurre l’oblio selettivo in un modello visione-linguaggio a scatola nera, dimostrando risultati promettenti.
I vantaggi di aiutare i modelli di intelligenza artificiale a dimenticare i dati
Al di là della sua ingegnosità tecnica, questa innovazione racchiude un potenziale significativo per le applicazioni del mondo reale in cui la precisione specifica dell’attività è fondamentale.
Semplificare i modelli per compiti specializzati potrebbe renderli più veloci, più efficienti in termini di risorse e in grado di funzionare su dispositivi meno potenti, accelerando l’adozione dell’intelligenza artificiale in aree precedentemente ritenute irrealizzabili.
Un altro utilizzo chiave risiede nella generazione di immagini, in cui dimenticare intere categorie di contesto visivo potrebbe impedire ai modelli di creare inavvertitamente contenuti indesiderati o dannosi, siano essi materiale offensivo o disinformazione.
Forse la cosa più importante è che questo metodo affronta uno dei più grandi dilemmi etici dell'intelligenza artificiale: privacy.
I modelli di intelligenza artificiale, in particolare quelli su larga scala, sono spesso addestrati su enormi set di dati che potrebbero inavvertitamente contenere informazioni sensibili o obsolete. Le richieste di rimozione di tali dati, soprattutto alla luce delle leggi che sostengono il “diritto all’oblio”, pongono sfide significative.
Riqualificare interi modelli per escludere dati problematici è costoso e richiede molto tempo, ma i rischi di lasciarli irrisolti possono avere conseguenze di vasta portata.
«Riqualificare un modello su larga scala consuma enormi quantità di energia», osserva il professore associato Irie. “L'oblio selettivo, o il cosiddetto disapprendimento automatico, può fornire una soluzione efficiente a questo problema.”
Queste applicazioni incentrate sulla privacy sono particolarmente rilevanti nei settori ad alto rischio come assistenza sanitaria E finanzadove i dati sensibili sono centrali per le operazioni.
Mentre la corsa globale per far avanzare l’intelligenza artificiale accelera, l’approccio “scatola nera dell’oblio” dell’Università delle Scienze di Tokyo traccia un importante percorso da seguire, non solo rendendo la tecnologia più adattabile ed efficiente, ma anche aggiungendo significative garanzie per gli utenti.
Sebbene permanga il rischio di abusi, metodi come l’oblio selettivo dimostrano che i ricercatori stanno affrontando in modo proattivo sfide sia etiche che pratiche.
Vedi anche: Perché QwQ-32B-Preview è l'intelligenza artificiale da tenere d'occhio
Vuoi saperne di più sull'intelligenza artificiale e sui big data dai leader del settore? Guardare Fiera dell'intelligenza artificiale e dei big data che si svolge ad Amsterdam, in California, e a Londra. L'evento completo è collocato in contemporanea con altri eventi importanti, tra cui Conferenza sull'automazione intelligente, BlockX, Settimana della trasformazione digitaleE Fiera sulla sicurezza informatica e sul cloud.
Esplora altri prossimi eventi e webinar sulla tecnologia aziendale forniti da TechForge Qui.
Fonte: www.artificialintelligence-news.com
