Quando gli LLM vengono utilizzati per valutare qualità come la correttezza, l’accuratezza o la pertinenza di un pezzo di testo, la coerenza è fondamentale. Se un LLM presenta giudizi incoerenti, le sue valutazioni diventano inaffidabili e inaffidabili.
Se un LLM valuta la qualità del ragionamento degli argomenti, ma si contraddice valutando un argomento non valido come più logicamente valido di uno perfettamente valido, allora fallisce come arbitro della ragione. Le sue valutazioni perdono credibilità a causa della mancanza di coerenza logica del modello stesso.
Quando compaiono tali incoerenze, non esiste una base stabile per il confronto tra le valutazioni del LLM di diverse parti di testo. Se il modello contraddice arbitrariamente se stesso, le frasi non possono essere classificate in modo affidabile l’una rispetto all’altra sulla base dei punteggi incoerenti del modello.
In sostanza, l’incoerenza distrugge le basi di confronto che le valutazioni mirano in primo luogo a fornire. Se un LLM non è in grado di dimostrare un’applicazione coerente dei criteri di valutazione, utilizzarlo per valutare il testo perde ogni efficacia e utilità.
Pertanto, la coerenza nel giudizio e nella valutazione è obbligatoria per i LLM impiegati per valutare o giudicare le qualità e le caratteristiche testuali. Senza un elevato livello di stabilità nelle valutazioni, fondato su una comprensione coerente dei concetti da valutare, la base per il confronto cade a pezzi quando si sfrutta l’output LLM come forma di valutazione o punteggio.
Il campionamento di più soluzioni rivela che la coerenza tra i risultati è fortemente correlata alla qualità. Tuttavia, le tecniche di coerenza esistenti si basano sull’estrazione e sull’abbinamento di risposte in formato chiuso, limitandone l’applicabilità. Questo articolo esplora i metodi per migliorare l’autocoerenza senza tali vincoli, basando al tempo stesso le decisioni sulla conoscenza del mondo reale.
Il bisogno di autocoerenza
Nonostante i rapidi progressi, i fallimenti logici e le falsità continuano a ostacolare un ragionamento affidabile nei modelli all’avanguardia. Per analisi complesse in più fasi o generazione di forme libere, i modelli spesso si contraddicono o inventano fatti non supportati.
Ciò si manifesta in due modi principali: generazione incoerente a tempo indeterminato e inferenze incoerenti. Quando si esegue…
Fonte: towardsdatascience.com
