Gli LLM open source necessitano di allineamento per diventare davvero straordinari…
11 ore fa
La maggior parte delle ricerche precedenti sui modelli linguistici di grandi dimensioni (LLM) open source si sono concentrati principalmente sulla creazione di modelli di base pre-addestrati. Tuttavia, questi modelli non sono stati sottoposti ad alcuna messa a punto, quindi non riescono a eguagliare la qualità dei migliori LLM closed source (ad esempio ChatGPT o Claude) a causa della loro mancanza di allineamento. I modelli a pagamento sono ampiamente allineati utilizzando tecniche come SFT e RLHF, che ne migliorano notevolmente l’usabilità. In confronto, i modelli open source sono in genere perfezionati in misura minore utilizzando set di dati pubblici più piccoli. All’interno di questa panoramica, tuttavia, daremo uno sguardo alla ricerca recente che mira a migliorare la qualità dei LLM open source attraverso una messa a punto e un allineamento più estesi.
Questa panoramica è la terza (e ultima) parte della mia serie sulla storia dei LLM open source. Nel prima parte della serie, abbiamo esaminato i tentativi iniziali di creare modelli linguistici open source. Sebbene questi LLM iniziali pre-addestrati abbiano avuto scarsi risultati, sono stati rapidamente seguiti da modelli base open source molto migliori, di cui abbiamo parlato in seconda parte di questa serie. Ora tratteremo di come questi migliori modelli open source possano essere messi a punto/allineati per migliorarne la qualità e colmare il divario prestazionale tra LLM open source e proprietari, completando il viaggio dai modelli iniziali come OPT a quelli incredibilmente elevati. eseguendo LLM open source che abbiamo oggi (ad esempio, LLaMA-2-Chat).
Il processo di allineamento. Questa panoramica studierà il processo di messa a punto e allineamento per i LLM open source. Prima di studiare la ricerca in quest’area, tuttavia, dobbiamo capire cos’è l’allineamento e come viene realizzato. Ricordiamo che il processo di formazione dei modelli linguistici si svolge in più parti. Come mostrato sopra, si inizia con la formazione preliminare, seguita da diverse fasi di perfezionamento. Dopo la formazione preliminare, il LLM può eseguire con precisione il successivo…
Fonte: towardsdatascience.com
