Una nuova ricerca basata sulla pragmatica e sulla filosofia propone modi per allineare gli agenti conversazionali con i valori umani
Il linguaggio è un tratto umano essenziale e il mezzo principale attraverso il quale comunichiamo informazioni inclusi pensieri, intenzioni e sentimenti. Recenti scoperte nella ricerca sull’intelligenza artificiale hanno portato alla creazione di agenti conversazionali in grado di comunicare con gli esseri umani in modi sfumati. Questi agenti sono alimentati da grandi modelli linguistici: sistemi computazionali addestrati su vasti corpora di materiali basati su testo per prevedere e produrre testo utilizzando tecniche statistiche avanzate.
Eppure, mentre i modelli linguistici come IstruireGPT, GopherE LaMDA hanno raggiunto livelli record di prestazioni in compiti quali traduzione, risposta a domande e comprensione della lettura, questi modelli hanno anche dimostrato di presentare una serie di potenziali rischi e modalità di fallimento. Questi includono la produzione di un linguaggio tossico o discriminatorio e di informazioni false o fuorvianti (1, 2, 3).
Queste carenze limitano l’uso produttivo degli agenti conversazionali in contesti applicativi e attirano l’attenzione sul modo in cui non riescono a raggiungere determinati ideali comunicativi. Ad oggi, la maggior parte degli approcci all’allineamento degli agenti conversazionali si sono concentrati sull’anticipazione e sulla riduzione dei rischi di danni (4).
Il nostro nuovo giornale, In conversazione con l’intelligenza artificiale: allineare i modelli linguistici ai valori umaniadotta un approccio diverso, esplorando come potrebbe essere una comunicazione di successo tra un essere umano e un agente conversazionale artificiale e quali valori dovrebbero guidare queste interazioni attraverso diversi domini conversazionali.
Approfondimenti dalla pragmatica
Per affrontare questi problemi, l’articolo si avvale della pragmatica, una tradizione in linguistica e filosofia, secondo la quale lo scopo di una conversazione, il suo contesto e un insieme di norme correlate, costituiscono tutti una parte essenziale di una sana pratica conversazionale.
Modellando la conversazione come uno sforzo cooperativo tra due o più parti, il linguista e filosofo Paul Grice sosteneva che i partecipanti dovrebbero:
- Parla in modo informativo
- Di La verità
- Fornire informazioni pertinenti
- Evitare affermazioni oscure o ambigue
Tuttavia, il nostro articolo dimostra che è necessario un ulteriore affinamento di queste massime prima che possano essere utilizzate per valutare gli agenti conversazionali, data la variazione degli obiettivi e dei valori incorporati nei diversi domini conversazionali.
Ideali discorsivi
A titolo illustrativo, la ricerca e la comunicazione scientifica sono orientate principalmente alla comprensione o alla previsione dei fenomeni empirici. Dati questi obiettivi, un agente conversazionale progettato per assistere l’indagine scientifica dovrebbe idealmente fare solo affermazioni la cui veridicità è confermata da prove empiriche sufficienti, o altrimenti qualificherebbe le sue posizioni secondo intervalli di confidenza rilevanti.
Ad esempio, un agente che riporta che “A una distanza di 4.246 anni luce, Proxima Centauri è la stella più vicina alla Terra”, dovrebbe farlo solo dopo che il modello sottostante ha verificato che l’affermazione corrisponde ai fatti.
Tuttavia, un agente conversazionale che svolge il ruolo di moderatore nel discorso politico pubblico potrebbe dover dimostrare virtù abbastanza diverse. In questo contesto, l’obiettivo è principalmente quello di gestire le differenze e consentire una cooperazione produttiva nella vita di una comunità. Pertanto, l’agente dovrà mettere in primo piano i valori democratici di tolleranza, civiltà e rispetto (5).
Inoltre, questi valori spiegare perché la generazione di discorsi tossici o pregiudizievoli da parte di modelli linguistici è spesso così problematica: la lingua offensiva non riesce a comunicare uguale rispetto per i partecipanti alla conversazione, qualcosa che è un valore chiave per il contesto in cui i modelli vengono utilizzati. Allo stesso tempo, le virtù scientifiche, come la presentazione esaustiva dei dati empirici, potrebbero essere meno importanti nel contesto della deliberazione pubblica.
Infine, nel campo dello storytelling creativo, lo scambio comunicativo punta alla novità e all’originalità, valori che differiscono ancora una volta in modo significativo da quelli sopra delineati. In questo contesto, una maggiore libertà d’azione rispetto alla finzione potrebbe essere opportuna, anche se resta importante salvaguardare le comunità dai contenuti dannosi prodotti con il pretesto di “usi creativi”.
Percorsi da percorrere
Questa ricerca ha una serie di implicazioni pratiche per lo sviluppo di agenti AI conversazionali allineati. Per cominciare, dovranno incorporare tratti diversi a seconda dei contesti in cui vengono utilizzati: non esiste una spiegazione valida per tutti dell’allineamento del modello linguistico. Invece, la modalità appropriata e gli standard valutativi per un agente – compresi gli standard di veridicità – varieranno a seconda del contesto e dello scopo di uno scambio conversazionale.
Inoltre, gli agenti conversazionali possono anche avere il potenziale per coltivare conversazioni più solide e rispettose nel tempo, attraverso un processo che chiamiamo costruzione e delucidazione del contesto. Anche quando una persona non è consapevole dei valori che governano una determinata pratica conversazionale, l’agente può comunque aiutare l’essere umano a comprendere questi valori prefigurandoli nella conversazione, rendendo il corso della comunicazione più profondo e più fruttuoso per chi parla.
Fonte: deepmind.google
