Promozione di modelli di grandi dimensioni best-in-class, agenti RL computazionalmente ottimali e sistemi di intelligenza artificiale più trasparenti, etici ed equi
La trentaseiesima Conferenza Internazionale sui Sistemi di Elaborazione delle Informazioni Neurali (NeurIPS 2022) si svolgerà dal 28 novembre al 9 dicembre 2022, come evento ibrido, con sede a New Orleans, USA.
NeurIPS è la conferenza più grande al mondo sull’intelligenza artificiale (AI) e sull’apprendimento automatico (ML) e siamo orgogliosi di supportare l’evento come sponsor Diamond, contribuendo a promuovere lo scambio dei progressi della ricerca nella comunità AI e ML.
I team di DeepMind stanno presentando 47 documenti, comprese 35 collaborazioni esterne in panel virtuali e sessioni di poster. Ecco una breve introduzione ad alcune delle ricerche che presentiamo:
I modelli di grandi dimensioni migliori della categoria
I modelli di grandi dimensioni (LM), ovvero sistemi di intelligenza artificiale generativa addestrati su enormi quantità di dati, hanno prodotto prestazioni incredibili in aree quali la generazione di linguaggio, testo, audio e immagini. Parte del loro successo è dovuto alla loro vastità.
Tuttavia, in Chinchilla, abbiamo creato un file Modello linguistico da 70 miliardi di parametri che supera molti modelli più grandicompreso Gopher. Abbiamo aggiornato le leggi di ridimensionamento dei modelli di grandi dimensioni, mostrando come i modelli precedentemente addestrati fossero troppo grandi per la quantità di addestramento eseguito. Questo lavoro ha già plasmato altri modelli che seguono queste regole aggiornate, creando modelli più snelli e migliori, e ha vinto un Eccezionale documento di traccia principale premio al convegno.
Basandoci su Chinchilla e sui nostri modelli multimodali NFNets e Perceiver, presentiamo anche Flamingo, una famiglia di modelli di linguaggio visivo con apprendimento a pochi scatti. Gestendo immagini, video e dati testuali, Flamingo rappresenta un ponte tra i modelli di sola visione e quelli di sola lingua. Un singolo modello Flamingo stabilisce un nuovo stato dell’arte nell’apprendimento “low-shot” su un’ampia gamma di attività multimodali a tempo indeterminato.
Eppure, la scala e l’architettura non sono gli unici fattori importanti per la potenza dei modelli basati su trasformatori. Anche le proprietà dei dati svolgono un ruolo significativo, di cui parleremo in una presentazione proprietà dei dati che promuovono l’apprendimento nel contesto nei modelli di trasformazione.
Ottimizzazione dell’apprendimento per rinforzo
L’apprendimento per rinforzo (RL) si è dimostrato molto promettente come approccio alla creazione di sistemi di intelligenza artificiale generalizzati in grado di affrontare un’ampia gamma di compiti complessi. Ha portato a progressi in molti settori, da Go alla matematica, e siamo sempre alla ricerca di modi per rendere gli agenti RL più intelligenti e snelli.
Introduciamo un nuovo approccio che potenzia le capacità decisionali degli agenti RL in modo efficiente dal punto di vista computazionale espandendo drasticamente la scala delle informazioni disponibili per il loro recupero.
Mostreremo anche un approccio concettualmente semplice ma generale per l’esplorazione guidata dalla curiosità in ambienti visivamente complessi: un agente RL chiamato BYOL-Esplora. Raggiunge prestazioni sovrumane pur essendo robusto al rumore ed essendo molto più semplice del lavoro precedente.
Progressi algoritmici
Dalla compressione dei dati all’esecuzione di simulazioni per la previsione del tempo, gli algoritmi sono una parte fondamentale dell’informatica moderna. Pertanto, i miglioramenti incrementali possono avere un impatto enorme quando si lavora su larga scala, contribuendo a risparmiare energia, tempo e denaro.
Condividiamo un metodo radicalmente nuovo e altamente scalabile per il configurazione automatica di reti di computerbasato sul ragionamento algoritmico neurale, dimostrando che il nostro approccio altamente flessibile è fino a 490 volte più veloce dell’attuale stato dell’arte, pur soddisfacendo la maggior parte dei vincoli di input.
Durante la stessa sessione, presentiamo anche un’esplorazione rigorosa della nozione precedentemente teorica di “allineamento algoritmico”, evidenziando la relazione sfumata tra reti neurali a grafo e programmazione dinamicae come combinarli al meglio per ottimizzare le prestazioni fuori distribuzione.
Essere pionieristici in modo responsabile
Al centro della missione di DeepMind c’è il nostro impegno ad agire come pionieri responsabili nel campo dell’intelligenza artificiale. Ci impegniamo a sviluppare sistemi di intelligenza artificiale trasparenti, etici ed equi.
Spiegare e comprendere il comportamento di sistemi di intelligenza artificiale complessi è una parte essenziale della creazione di sistemi equi, trasparenti e accurati. Offriamo un insieme di desiderata che catturano quelle ambizioni e descrivono un modo pratico per soddisfarleche implica addestrare un sistema di intelligenza artificiale a costruire un modello causale di se stesso, consentendogli di spiegare il proprio comportamento in modo significativo.
Per agire in modo sicuro ed etico nel mondo, gli agenti di intelligenza artificiale devono essere in grado di ragionare sui danni ed evitare azioni dannose. Introdurremo il lavoro collaborativo su una nuova misura statistica chiamata danno controfattualee dimostrare come supera i problemi con approcci standard per evitare di perseguire politiche dannose.
Infine, presentiamo il nostro nuovo articolo che propone modi per diagnosticare e mitigare i fallimenti nell’equità del modello causati da cambiamenti nella distribuzionemostrando quanto siano importanti questi problemi per l’implementazione di tecnologie ML sicure in ambito sanitario.
Guarda la gamma completa del nostro lavoro a NeurIPS 2022 Qui.
