Come tutti gli altri, questa è la prima volta che sperimento una ricerca chiusa. Da quando ero al college, tutta la ricerca di frontiera è stata aperta e sottoposta a revisione paritaria, fino a poco tempo fa. E credo che, in definitiva, l’apertura faccia avanzare la scienza più della chiusura.
Se miriamo a eguagliare le prestazioni di ChatGPT attraverso l’open source, credo che dobbiamo iniziare a prendere più seriamente i dati di addestramento. Una parte sostanziale dell’efficacia di ChatGPT potrebbe non derivare, ad esempio, da un’architettura ML specifica, da tecniche di perfezionamento o da framework. Ma più probabilmente, dipende dall’ampiezza, dalla portata e dalla qualità dei dati delle istruzioni.
Per dirla senza mezzi termini, mettere a punto modelli linguistici di grandi dimensioni su dati di istruzioni mediocri è uno spreco di calcolo. Diamo un’occhiata a cosa è cambiato nei dati di addestramento e nel paradigma di apprendimento: come ora formattiamo i dati di addestramento in modo diverso e quindi apprendiamo in modo diverso rispetto alla pre-formazione su larga scala del passato.
RLHF sta per Apprendimento per Rinforzo dal Feedback Umano. Ha due componenti principali:
- Apprendimento per rinforzo (RL)
- Feedback umano (HF)
Fonte: towardsdatascience.com
