In che modo i dati di alta qualità influiscono su ogni aspetto della pipeline di formazione LLM…
I Large Language Models (LLM) esistono da un po’ di tempo, ma solo di recente le loro prestazioni impressionanti hanno meritato un’attenzione significativa da parte della più ampia comunità di intelligenza artificiale. Con questo in mente, potremmo iniziare a mettere in discussione l’origine dell’attuale movimento LLM. Che cosa ha reso i modelli recenti così impressionanti rispetto ai loro predecessori? Sebbene alcuni possano sostenere una varietà di fattori diversi, un progresso particolarmente efficace è stata la capacità di eseguire l’allineamento. In altre parole, abbiamo capito come addestrare gli LLM non solo a produrre la parola successiva più probabile, ma a produrre un testo in grado di soddisfare gli obiettivi di un essere umano, sia seguendo un’istruzione o recuperando informazioni importanti.
“Ipotizziamo che l’allineamento possa essere un processo semplice in cui il modello apprende lo stile o il formato per interagire con gli utenti, per esporre le conoscenze e le capacità già acquisite durante la pre-formazione” — da (1)
Questa panoramica studierà il ruolo e l’impatto dell’allineamento, nonché l’interazione tra allineamento e pre-formazione. È interessante notare che queste idee sono state esplorate dal recente modello LIMA (1), che esegue l’allineamento semplicemente mettendo a punto un LLM pre-addestrato su un corpus curato semi-manualmente di soli 1.000 esempi di risposte di alta qualità. Impareremo che il processo di allineamento, sebbene critico, insegna principalmente una governabilità LLM e un comportamento o uno stile corretto, mentre la maggior parte delle conoscenze vengono acquisite durante la pre-formazione. Pertanto, l’allineamento può essere eseguito con successo anche con dati di addestramento minimi. Tuttavia, vedremo che l’impatto della qualità e della diversità dei dati sia sull’allineamento che su altri percorsi di formazione LLM (ad esempio pre-formazione, messa a punto, ecc.) è assolutamente enorme.
“I LLM vengono formati in due fasi: (1) preformazione non supervisionata da testo grezzo, per apprendere rappresentazioni di uso generale e (2) ottimizzazione delle istruzioni su larga scala e apprendimento per rinforzo, per allinearsi meglio alle attività finali e alle preferenze dell’utente.” — da (1)
Sebbene i modelli linguistici siano stati studiati da una varietà di prospettive diverse negli ultimi mesi, la creazione di questi…
Fonte: towardsdatascience.com
