|DISTILLAZIONE MODELLO|AI|MODELLI LINGUISTICI GRANDI|
Distillare la conoscenza di un modello di grandi dimensioni è complesso ma un nuovo metodo mostra prestazioni incredibili
Grandi modelli linguistici (LLM) e l’apprendimento “low-shot” hanno dimostrato che possiamo utilizzare questi modelli per compiti invisibili. Tuttavia, queste competenze hanno un costo: un numero enorme di parametri. Ciò significa che è necessaria anche un’infrastruttura specializzata e limitare i LLM all’avanguardia solo a poche aziende e gruppi di ricerca.
- Abbiamo davvero bisogno di un modello unico per ogni attività?
- Sarebbe possibile creare modelli specializzati che potrebbero sostituirli per applicazioni specifiche?
- Come possiamo avere un modello piccolo in grado di competere con i giganteschi LLM per applicazioni specifiche? Abbiamo necessariamente bisogno di molti dati?
In questo articolo do una risposta a queste domande.
“L’istruzione è la chiave del successo nella vita e gli insegnanti hanno un impatto duraturo nella vita dei loro studenti”. –Salomone Ortiz
L’arte di insegnare è l’arte di aiutare la scoperta. —Mark Van Doren
Modelli linguistici di grandi dimensioni (LLM) hanno dimostrato capacità rivoluzionarie. Ad esempio, i ricercatori sono rimasti sorpresi da comportamenti elusivi come apprendimento in contesto. Ciò ha portato ad un aumento della scala dei modelli, con modelli sempre più grandi alla ricerca di nuove capacità che appaiono al di là di una serie di parametri.
Fonte: towardsdatascience.com
