In che modo SURGE migliora sostanzialmente la pertinenza della conoscenza attraverso un potenziamento mirato pur mantenendo la fluidità della lingua
I modelli generativi pre-addestrati hanno mostrato una fluidità e una coerenza impressionanti quando utilizzati per gli agenti di dialogo. Tuttavia, un limite fondamentale di cui soffrono è la mancanza di basi nella conoscenza esterna. Lasciati soli ai loro parametri pre-addestrati, questi modelli spesso generano risposte apparentemente plausibili ma di fatto errate, note anche come allucinazioni.
Gli approcci precedenti per mitigare questo problema hanno comportato l’aumento del contesto del dialogo con interi grafici della conoscenza associati alle entità menzionate nella chat. Tuttavia, questo condizionamento indiscriminato su grandi grafi di conoscenza comporta i suoi problemi:
Limitazioni dell’aumento del Knowledge Graph ingenuo:
- Gran parte del contesto a 1 salto potrebbe essere irrilevante per il dialogo, inserendo rumore non necessario
- La codifica di interi sottografi di conoscenza impone limiti di lunghezza della sequenza
- Nessun modello di garanzia utilizzerà i fatti rilevanti per la generazione
- Il rischio di allucinazioni esiste ancora nonostante le conoscenze fondate
Per superare questo, Kang et al. Il 2023 propone il framework SUbgraph Retrieval-augmented GEneration (SURGE), con tre innovazioni chiave:
- Retriever di sottografi rilevanti per il contesto: recupero dei fatti del grafico di conoscenza più rilevanti nel contesto del dialogo utilizzando un retriever di rete neurale del grafico.
- Codifica efficiente dei grafici: perturbazione degli incorporamenti di token in base alle relazioni durante la codifica solo delle entità dei sottografi anziché di tutte le triplette. Mantiene l’invarianza di permutazione e inversione.
- Apprendimento contrastivo grafico-testo: garantire la coerenza tra il grafico della conoscenza recuperato e la risposta generata tramite perdita contrastiva.
Ciò consente di fornire al dialogo esattamente il contesto fattuale richiesto senza essere diluito da fatti irrilevanti o limitazioni del modello. Gli esperimenti dimostrano che SURGE riduce le allucinazioni e migliora il radicamento.
Fonte: towardsdatascience.com
