DeepMind ha pubblicato a serie di documenti sui modelli linguistici di grandi dimensioni (LLM) lo scorso anno, incluso un’analisi di Gopher, il nostro grande modello linguistico. La tecnologia di modellazione del linguaggio, attualmente in fase di sviluppo anche da diversi altri laboratori e aziende, promette di rafforzare molte applicazioni, a partire da motori di ricerca a una nuova ondata di chatbot assistenti alla conversazione e oltre. Uno carta in questa serie vengono illustrate una serie di ragioni per cui i modelli linguistici “grezzi” come Gopher non soddisfano i nostri standard per l’implementazione sicura di questa tecnologia nelle applicazioni rivolte agli utenti, soprattutto se non vengono impostati guard rail per la gestione di comportamenti problematici e potenzialmente dannosi.
Il nostro ultimo lavoro si concentra su una di queste preoccupazioni: i modelli linguistici come Gopher possono “allucinare” fatti che sembrano plausibili ma che in realtà sono falsi. Coloro che hanno familiarità con questo problema sanno che è necessario verificare i propri fatti, piuttosto che fidarsi di ciò che dicono i modelli linguistici. Coloro che non lo sono, potrebbero finire per credere a qualcosa che non è vero. Questo articolo descrive GopherCite, un modello che mira ad affrontare il problema delle allucinazioni del modello linguistico. GopherCite tenta di sostenere tutte le sue affermazioni fattuali con prove prese dal web. Utilizza Ricerca Google per trovare pagine web pertinenti su Internet e cita un passaggio che cerca di dimostrare perché la sua risposta è corretta. Se il sistema non è in grado di fornire una risposta che possa essere ben supportata da prove, dice all’utente “Non lo so”, invece di fornire una risposta infondata.
Supportare semplici affermazioni fattuali con prove facilmente verificabili è un passo verso la creazione di modelli linguistici più affidabili, sia per gli utenti che interagiscono con essi, sia per gli annotatori che valutano la qualità dei campioni. Un confronto tra il comportamento del Gopher “grezzo” e il nostro nuovo modello è utile per illustrare questo cambiamento.
Basandosi sulla risposta di GopherCite, noterai che Gopher ha inventato un fatto (“Lake Placid ha ospitato le Olimpiadi invernali nel 1936”) senza preavviso. Quando GopherCite ha mostrato uno snippet verificato da una pagina Wikipedia pertinente, possiamo confermare che Lake Placid ha ospitato le Olimpiadi solo due volte, nel 1932 e nel 1980.
Per alterare il comportamento di Gopher in questo modo, abbiamo addestrato Gopher in base alle preferenze umane. Abbiamo chiesto ai partecipanti a uno studio sugli utenti di scegliere la loro risposta preferita da una coppia di candidati, in base a criteri tra cui quanto bene le prove supportano le risposte fornite. Queste etichette sono state utilizzate come dati di training sia per l’apprendimento supervisionato su campioni con valutazioni elevate sia per apprendimento per rinforzo dalle preferenze umane (RLHP). Anche noi abbiamo adottato questo approccio il nostro recente lavoro sul teaming rosso.
Non siamo gli unici interessati a questo problema di inesattezza fattuale nei modelli linguistici. I nostri colleghi di Google hanno recentemente fatto progressi sulla base dei fatti nel loro ultimo articolo Sistema LaMDAavere un modello conversazionale che interagisce con Ricerca Google e talvolta condivide URL pertinenti. In effetti, il regime di formazione di GopherCite utilizza una metodologia simile a quella di LaMDA, ma una differenza fondamentale è che miriamo a fornire un frammento specifico di prove rilevanti, piuttosto che semplicemente indirizzare l’utente a un URL. Basandosi su motivazioni simili alle nostre, OpenAI ha lavoro recentemente annunciato sviluppando un sistema strettamente correlato chiamato WebGPT, che applica anche RLHP per allineare il modello linguistico GPT-3. Mentre GopherCite si concentra sulla lettura di input di documenti lunghi, WebGPT cura attentamente il contesto presentato al modello linguistico interagendo più volte con un browser web. Cita anche prove a sostegno delle sue risposte. Somiglianze e differenze tra questi sistemi e il nostro sono discusse nel nostro articolo e dimostriamo anche che GopherCite molto spesso fornisce prove convincenti a sostegno delle sue affermazioni.
Abbiamo condotto uno studio sugli utenti con partecipanti pagati per valutare il modello su due tipi di domande: domande di ricerca di fatti digitate nella Ricerca Google (rilasciato da Google in un set di dati chiamato “NaturalQuestions”) e domande di ricerca di spiegazioni poste dagli utenti di Reddit su un forum chiamato “/r/eli5” (“Spiegalo come se avessi 5 (anni)”). I partecipanti al nostro studio hanno stabilito che GopherCite risponde correttamente alle domande di ricerca di fatti – e con prove soddisfacenti – circa l’80% delle volte, e lo fa per domande di ricerca di spiegazioni circa il 67% delle volte. Quando permettiamo a GopherCite di astenersi dal rispondere ad alcune domande, le sue prestazioni migliorano notevolmente tra le domande a cui sceglie di rispondere (vedere il documento per i dettagli). Questo meccanismo esplicito di astensione è un contributo fondamentale del nostro lavoro.
Ma quando valutiamo il modello sulla base di una serie di domande “contraddizionali”, che tentano di indurre il modello a ripetere a pappagallo una finzione o un malinteso affermato su Internet, GopherCite spesso cade nella trappola. Ad esempio, alla domanda “cosa ti dà la Red Bull?”, ecco come risponde:
Riteniamo che questa modalità di fallimento e altre discusse nel nostro articolo possano essere evitate arricchendo l’impostazione, passando da una risposta “single-shot” alla domanda di un utente, a una in cui il modello può porre domande chiarificatrici all’utente e impegnarsi in una dialogo. Ad esempio, potremmo consentire ai modelli futuri di chiedere all’utente se desidera una risposta che sia letteralmente vera o che sia vera entro i confini del mondo immaginario di una pubblicità della Red Bull.
In sintesi, riteniamo che GopherCite rappresenti un importante passo avanti, ma la sua realizzazione ci ha insegnato che la citazione delle prove è solo una parte di una strategia complessiva per la sicurezza e l’affidabilità. Più fondamentalmente, non tutte le affermazioni richiedono prove di citazione e, come abbiamo dimostrato sopra, non tutte le affermazioni supportate da prove sono vere. Alcune affermazioni richiedono più prove insieme a un’argomentazione logica che spieghi il motivo per cui l’affermazione segue. Continueremo a lavorare in questo settore e mireremo a superare i problemi presentati con ulteriore ricerca e sviluppo, nonché con una ricerca sociotecnica dedicata.
Il nostro articolo copre molti più dettagli sui nostri metodi, esperimenti e contesto rilevante dalla letteratura di ricerca. Abbiamo anche creato una FAQ su GopherCite, a cui ha risposto il modello stesso dopo aver letto l’introduzione dell’articolo (utilizzando esempi di candidati selezionati dagli autori):
