Modellazione del linguaggio su larga scala: Gopher, considerazioni etiche e recupero | Intelligenza-Artificiale

Il linguaggio e il suo ruolo nel dimostrare e facilitare la comprensione – o l’intelligenza – è una parte fondamentale dell’essere umano. Dà alle persone la capacità di comunicare pensieri e concetti, esprimere idee, creare ricordi e costruire una comprensione reciproca. Queste sono parti fondamentali dell’intelligenza sociale. È per questo che i nostri team di DeepMind studiano aspetti dell’elaborazione e della comunicazione del linguaggio, sia negli agenti artificiali che negli esseri umani.

Nell’ambito di un portafoglio più ampio di ricerca sull’intelligenza artificiale, riteniamo che lo sviluppo e lo studio di modelli linguistici più potenti – sistemi che prevedono e generano testo – abbiano un enorme potenziale per la creazione di sistemi avanzati di intelligenza artificiale che possano essere utilizzati in modo sicuro ed efficiente per riassumere informazioni, fornire informazioni a esperti consigli e seguire le istruzioni tramite il linguaggio naturale. Lo sviluppo di modelli linguistici benefici richiede una ricerca sui loro potenziali impatti, compresi i rischi che comportano. Ciò include la collaborazione tra esperti provenienti da contesti diversi per anticipare e affrontare con attenzione le sfide che gli algoritmi di addestramento sui set di dati esistenti possono creare.

Oggi pubblichiamo tre articoli sui modelli linguistici che riflettono questo approccio interdisciplinare. Includono uno studio dettagliato di un modello linguistico del trasformatore di parametri da 280 miliardi chiamato Gopher, uno studio sui rischi etici e sociali associati ai grandi modelli linguisticiE un articolo che studia una nuova architettura con una migliore efficienza della formazione.

Gopher – Un modello linguistico da 280 miliardi di parametri

Nel tentativo di esplorare modelli linguistici e svilupparne di nuovi, abbiamo addestrato una serie di modelli linguistici trasformatori di diverse dimensioni, che vanno da 44 milioni di parametri a 280 miliardi di parametri (il modello più grande che abbiamo chiamato Gopher).

La nostra ricerca ha analizzato i punti di forza e di debolezza di questi modelli di diverse dimensioni, evidenziando le aree in cui l’aumento della scala di un modello continua a migliorare le prestazioni, ad esempio in aree come la comprensione della lettura, il controllo dei fatti e l’identificazione del linguaggio tossico. Forniamo anche risultati in cui la scala del modello non migliora significativamente i risultati, ad esempio nel ragionamento logico e nelle attività basate sul buon senso.

Nella nostra ricerca, abbiamo trovato le capacità di Gopher superare i modelli linguistici esistenti per una serie di compiti chiave. Ciò include il benchmark Massive Multitask Language Understanding (MMLU), dove Gopher dimostra un progresso significativo verso le prestazioni degli esperti umani rispetto al lavoro precedente.

Così come la valutazione quantitativa di Gopherabbiamo anche esplorato il modello attraverso l’interazione diretta. Tra i nostri risultati principali c’era quello, quando Gopher è spinto verso un’interazione dialogica (come in una chat), il modello può talvolta fornire una coerenza sorprendente.

Qui Gopher può discutere di biologia cellulare e fornire una citazione corretta nonostante nessuna specifica messa a punto del dialogo. Tuttavia, la nostra ricerca ha anche dettagliato diverse modalità di fallimento che persistono in tutte le dimensioni del modello, tra cui la tendenza alla ripetizione, il riflesso di pregiudizi stereotipati e la propagazione fiduciosa di informazioni errate.

Questo tipo di analisi è importante, perché comprendere e documentare le modalità di fallimento ci fornisce un’idea di come i modelli linguistici di grandi dimensioni potrebbero portare a danni a valle e ci mostra dove dovrebbero concentrarsi gli sforzi di mitigazione nella ricerca per affrontare tali problemi.

Rischi etici e sociali derivanti dai grandi modelli linguistici

Nel nostro secondo articolo, anticipiamo i possibili rischi etici e sociali derivanti dai modelli linguistici e creiamo una classificazione completa di questi rischi e delle modalità di fallimento, basandoci sulla ricerca precedente in questo settore (Bommasani et al 2021, Bender et al. 2021, Patterson et al. 2021). Questa panoramica sistematica è un passo essenziale verso la comprensione di questi rischi e la mitigazione dei potenziali danni. Presentiamo una tassonomia dei rischi legati ai modelli linguistici, classificati in sei aree tematiche, ed elaboriamo in modo approfondito 21 rischi.

Avere una visione ampia delle diverse aree di rischio è essenziale: come mostriamo nel documento, un focus eccessivamente ristretto su un singolo rischio isolato può peggiorare altri problemi. La tassonomia che presentiamo funge da base per gli esperti e per un discorso pubblico più ampio per costruire una panoramica condivisa di considerazioni etiche e sociali sui modelli linguistici, prendere decisioni responsabili e scambiare approcci per affrontare i rischi identificati.

La nostra ricerca rileva che due aree in particolare richiedono ulteriore lavoro. In primo luogo, gli attuali strumenti di benchmarking sono insufficienti per valutare alcuni rischi importanti, ad esempio, quando i modelli linguistici producono disinformazione e le persone credono che queste informazioni siano vere. La valutazione di rischi come questi richiede un maggiore controllo dell’interazione uomo-computer con i modelli linguistici. Nel nostro articolo elenchiamo diversi rischi che richiedono allo stesso modo strumenti di analisi nuovi o più interdisciplinari. In secondo luogo, è necessario lavorare maggiormente sulla mitigazione del rischio. Ad esempio, è noto che i modelli linguistici riproducono stereotipi sociali dannosi, ma la ricerca su questo problema è ancora in fase iniziale, poiché recente articolo di DeepMind ha mostrato.

Formazione efficiente con recupero su scala Internet

Il nostro documento finale si basa sulle fondamenta di Gopher e la nostra tassonomia del rischio etico e sociale proponendo un’architettura del modello linguistico migliorata che riduce il costo energetico della formazione e rende più semplice rintracciare i risultati del modello alle fonti all’interno del corpus formativo.

Il Retrieval-Enhanced Transformer (RETRO) è pre-addestrato con un meccanismo di recupero su scala Internet. Ispirato dal modo in cui il cervello si affida a meccanismi di memoria dedicati durante l’apprendimento, RETRO interroga in modo efficiente passaggi di testo per migliorare le sue previsioni. Confrontando i testi generati con i passaggi su cui RETRO ha fatto affidamento per la generazione, possiamo interpretare il motivo per cui il modello fa determinate previsioni e da dove provengono. Vediamo anche come il modello ottiene prestazioni paragonabili a un normale Transformer con parametri di un ordine di grandezza in meno e ottiene prestazioni all’avanguardia su diversi benchmark di modellazione del linguaggio.

Andando avanti

Questi documenti offrono una base per il futuro della ricerca linguistica di DeepMind, in particolare nelle aree che avranno un impatto sul modo in cui questi modelli verranno valutati e implementati. Affrontare queste aree sarà fondamentale per garantire interazioni sicure con gli agenti IA: dalle persone che dicono agli agenti cosa vogliono agli agenti che spiegano le loro azioni alle persone. La ricerca nella comunità più ampia sull’uso della comunicazione per la sicurezza include spiegazioni in linguaggio naturale, utilizzare la comunicazione per ridurre l’incertezzae usare il linguaggio per scomporre decisioni complesse in pezzi come amplificazione, discussioneE modellazione ricorsiva della ricompensa – tutte le aree critiche di esplorazione.

Mentre continuiamo la nostra ricerca sui modelli linguistici, DeepMind rimarrà cauto e premuroso. Ciò richiede di fare un passo indietro per valutare la situazione in cui ci troviamo, mappare i potenziali rischi e ricercare le possibili soluzioni. Ci impegneremo a essere trasparenti e aperti riguardo ai limiti dei nostri modelli e lavoreremo per mitigare i rischi identificati. In ogni fase, ci avvaliamo dell’ampia esperienza dei nostri team multidisciplinari, compresi i nostri team di lingua, deep learning, etica e sicurezza. Questo approccio è fondamentale per creare grandi modelli linguistici al servizio della società, promuovendo la nostra missione di risolvere l’intelligenza per far avanzare la scienza e apportare benefici all’umanità.