Insegnare ai chatbot a dire “Non lo so”
Chi è Evelyn Hartwell?
Evelyn Hartwell è un’autrice, oratrice e life coach americana…
Evelyn Hartwell è una ballerina canadese e direttrice artistica fondatrice…
Evelyn Hartwell è un’attrice americana nota per i suoi ruoli nel film…
No, Evelyn Hartwell non è una truffatrice con molteplici false identità, che vive una tripla vita ingannevole con varie professioni. In realtà lei non esiste affatto, ma la modella, invece di dirmi che non lo sa, inizia a inventare fatti. Abbiamo a che fare con un’allucinazione LLM.
Risultati lunghi e dettagliati possono sembrare davvero convincenti, anche se fittizi. Significa che non possiamo fidarci dei chatbot e dobbiamo verificare manualmente i fatti ogni volta? Fortunatamente, potrebbero esserci modi per rendere i chatbot meno propensi a dire cose inventate con le giuste garanzie.
Per le uscite di cui sopra, ho impostato una temperatura più alta di 0,7. Permetto al LLM di modificare la struttura delle sue frasi per non avere testo identico per ogni generazione. Le differenze tra gli output dovrebbero essere solo semantiche, non fattuali.
Questa semplice idea ha permesso di introdurre un nuovo meccanismo di rilevamento delle allucinazioni basato su campioni. Se gli output del LLM allo stesso prompt si contraddicono tra loro, probabilmente si tratteranno di allucinazioni. Se si implicano a vicenda, ciò implica che l’informazione è reale. (2)
Per questo tipo di valutazione richiediamo solo gli output testuali dei LLM. Questo è noto come valutazione della scatola nera. Inoltre, poiché non abbiamo bisogno di alcuna conoscenza esterna, si chiama risorsa zero. (5)
Cominciamo con un modo molto semplice per misurare la somiglianza. Calcoleremo la somiglianza del coseno a coppie tra coppie corrispondenti di frasi incorporate. Li normalizziamo perché dobbiamo concentrarci solo sulla direzione del vettore, non sulla grandezza. La funzione seguente prende come input la frase generata originariamente chiamata produzione e un…
Fonte: towardsdatascience.com
