Migliorare il modo in cui i LLM apprendono e rispondono
Stiamo anche migliorando il modo in cui i LLM formano, apprendono e rispondono agli utenti, migliorando le prestazioni e l’efficienza su diversi fronti.
Con finestre di contesto più ampie, i LLM possono ora imparare da potenzialmente migliaia di esempi contemporaneamente, noto come apprendimento in contesto many-shot (ICL). Questo processo migliora le prestazioni del modello in attività come matematica, traduzione e ragionamento, ma spesso richiede dati di alta qualità generati dall’uomo. Per rendere la formazione più conveniente, esploriamo metodi per adattare l’ICL multi-shot che riducono la dipendenza da dati curati manualmente. I dati disponibili per l’addestramento dei modelli linguistici sono così tanti che il vincolo principale per i team che li costruiscono diventa il calcolo disponibile. Noi affrontare una questione importante: con un budget di elaborazione fisso, come si sceglie la dimensione giusta del modello per ottenere i migliori risultati?
Un altro approccio innovativo, che chiamiamo Modelli linguistici a inversione temporale (TRLM), esplora la preformazione e la messa a punto di un LLM per funzionare al contrario. Quando vengono fornite risposte LLM tradizionali come input, un TRLM genera query che potrebbero aver prodotto tali risposte. Se abbinato a un LLM tradizionale, questo metodo non solo aiuta a garantire che le risposte seguano meglio le istruzioni dell’utente, ma migliora anche la generazione di citazioni per il testo riassuntivo e migliora i filtri di sicurezza contro i contenuti dannosi.
La cura di dati di alta qualità è vitale per l’addestramento di modelli di intelligenza artificiale di grandi dimensioni, ma la cura manuale è difficile su larga scala. Per far fronte a ciò, il ns Selezione di esempi congiunti (JEST) ottimizza l’addestramento identificando i dati più apprendibili all’interno di batch più grandi, consentendo fino a 13 volte in meno di cicli di addestramento e 10 volte in meno di calcoli, superando le linee di base di preaddestramento multimodale all’avanguardia.
Le attività di pianificazione rappresentano un’altra sfida per l’intelligenza artificiale, in particolare negli ambienti stocastici, dove i risultati sono influenzati dalla casualità o dall’incertezza. I ricercatori utilizzano vari tipi di inferenza per la pianificazione, ma non esiste un approccio coerente. Lo dimostriamo la pianificazione stessa può essere vista come un tipo distinto di inferenza probabilistica e proporre un quadro per classificare diverse tecniche di inferenza in base alla loro efficacia di pianificazione.
Fonte: deepmind.google
