Questo post del blog spiega il metodo di messa a punto dell’attenzione fantasma introdotto nel documento LLaMa 2.
Spesso, vogliamo che al LLM venga fornita un’istruzione una volta e poi la segua fino a quando non viene detto diversamente. Tuttavia, come mostra l’esempio seguente, i LLM possono dimenticare rapidamente le istruzioni dopo alcuni turni di dialogo.
Un modo per far sì che il modello presti attenzione in modo coerente è aggiungere l’istruzione a ciascun messaggio dell’utente. Anche se funzionerà, ha il costo di più token inseriti nel contesto, limitando così il numero di turni di dialogo che il tuo LLM può avere. Come possiamo aggirare questo problema? Mettendo a punto! Ghost Attention ha lo scopo di consentire al LLM di seguire le istruzioni per più turni di dialogo.
Cominciamo immaginando i nostri dialoghi come un array di dati. Abbiamo un messaggio utente, seguito da un messaggio assistente, e i due vanno avanti e indietro. Quando l’ultimo elemento nel nostro array è un messaggio utente, ci aspetteremmo che LLM generi un messaggio come assistente.
È importante sottolineare che ci assicuriamo che l’istruzione non appaia in nessuno dei messaggi dell’utente tranne il primo, poiché nel mondo reale questa è probabilmente l’unica volta in cui un utente introduce organicamente le istruzioni.
Nella nostra configurazione c’è anche un modello di Reinforcement Learning Human Feedback (RLHF) da cui possiamo campionare e sapere come sarebbe una buona risposta al prompt.
Con il nostro campione e il nostro dialogo, eseguiamo il campionamento del rifiuto, chiedendo al LLM di generare un numero arbitrario di risposte diverse e quindi assegnando loro un punteggio con il modello RLHF. Salviamo la risposta che si classifica più in alto e utilizziamo tutte queste risposte di altissima qualità per ottimizzare il modello.
Quando perfezioniamo il nostro dialogo e il miglior campione, impostiamo la perdita a zero per tutti i gettoni generati nei turni di dialogo precedenti. Per quanto ne so, ciò è stato fatto poiché i ricercatori hanno notato questo miglioramento delle prestazioni.
Vale la pena sottolineare che mentre Ghost Attention interagirà con il meccanismo di auto-attenzione utilizzato per i modelli Transformer, Ghost Attention non è di per sé un sostituto dell’auto-attenzione, piuttosto un modo per fornire al meccanismo di auto-attenzione dati migliori in modo che possa ricordare istruzioni fornite all’inizio in contesti più lunghi.
Il documento LLaMa 2 evidenzia tre tipi specifici di istruzioni con cui è stato testato: (1) agire come personaggio pubblico, (2) parlare in una determinata lingua e (3) praticare hobby specifici. Poiché l’insieme di possibili personaggi pubblici e hobby è ampio, si è voluto evitare che al LLM venisse assegnato un hobby o una persona che non era presente nei dati di formazione. Per risolvere questo problema, hanno chiesto al LLM di generare l’elenco degli hobby e dei personaggi pubblici con cui sarebbe stato poi incaricato di comportarsi; si spera che, se è stato lui a generare il soggetto, sarà più probabile che ne sappia qualcosa e quindi abbia meno probabilità di avere allucinazioni. Per migliorare ulteriormente i dati, renderebbero le istruzioni il più concise possibile. Non si discute se ci siano limiti ai tipi di istruzioni che potrebbero essere fornite, quindi presumibilmente spetta a noi testare quali tipi di istruzioni funzionano meglio su modelli ottimizzati tramite l’attenzione fantasma.
Quali sono allora gli effetti di questo nuovo metodo sul LLM?
Nel documento, allegano l’immagine sopra che mostra come il modello reagisce alle istruzioni non trovate nel suo set di dati di messa a punto. A sinistra, testano l’istruzione di “rispondere sempre con Haiku”, e a destra testano l’istruzione di suggerire attività legate all’architettura quando possibile. Anche se le risposte agli haiku sembrano perdere alcune sillabe man mano che procedono, non c’è dubbio che si stia cercando di mantenere il formato generale in ogni risposta. Quello dell’architettura è particolarmente interessante per me, come puoi vedere il modello in modo appropriato non lo fa apparire nel primo messaggio quando non è rilevante ma lo fa apparire più tardi.
Provalo tu stesso sull’interfaccia llama-2 di lmsys.org. Puoi vedere che, sebbene non sia perfetto come lo schermo catturato sul foglio, è comunque molto migliore delle versioni LLaMa 1
È importante sottolineare che vediamo anche che questa metodologia ha un impatto sull’attenzione del modello. Di seguito è riportato un grafico della mappa termica dell’attenzione prestata a ciascun token dal modello. Il lato sinistro e quello inferiore del grafico mostrano i token che vengono inseriti nel modello. Non vediamo la parte in alto a destra del grafico perché sta generando il resto, quindi i token che apparirebbero oltre il token corrente non sono disponibili per il modello. Man mano che generiamo più testo, possiamo vedere che diventano disponibili più token. Le mappe termiche mostrano valori più alti con colori più scuri, quindi più scuro è il colore qui, maggiore è l’attenzione prestata a quei token. Possiamo vedere che i token “Agisci come Oscar Wilde” diventano progressivamente più scuri man mano che generiamo più token, suggerendo che ricevono sempre più attenzione.
La carta ci dice che dopo più di 20 giri il contesto è spesso pieno, causando problemi di attenzione. È interessante notare che il grafico fornito in appendice mostra anche che, man mano che continuavano a perfezionare il modello, il punteggio assegnatogli dal modello RLHF continuava a diminuire. Sarebbe interessante vedere se ciò è dovuto al fatto che le istruzioni diventavano più lunghe, a causa della loro complessità per ogni batch successivo, o se ciò fosse in qualche modo correlato a una limitazione dei dati utilizzati per addestrare il modello. Nel secondo caso, è possibile che con più dati di addestramento sia possibile eseguire ancora più batch prima di vedere diminuire il punteggio. In ogni caso, potrebbero esserci rendimenti decrescenti nella messa a punto tramite Ghost Attention.
Fonte: towardsdatascience.com
