Esiste anche una versione chat. I modelli sono disponibili sull’hub Hugging Face:
Falcon 180B è completamente gratuito e all’avanguardia. Ma è anche un modello enorme.
Può funzionare sul tuo computer?
A meno che il tuo computer non sia pronto per un’elaborazione molto intensiva, non può eseguire Falcon 180B immediatamente. Dovrai aggiornare il tuo computer e utilizzare una versione quantizzata del modello.
In questo articolo spiego come eseguire Falcon-180B su hardware consumer. Vedremo che può essere ragionevolmente conveniente eseguire un modello da 180 miliardi di parametri su un computer moderno. Discuterò anche diverse tecniche che aiutano a ridurre i requisiti hardware.
La prima cosa che devi sapere è che Falcon 180B ha 180 miliardi di parametri memorizzati come bfloat16. Un parametro (b)float16 è di 2 byte in memoria.
Quando carichi un modello, la pipeline Pytorch standard funziona in questo modo:
- Viene creato un modello vuoto: parametri 180B * 2 byte = 360 GB
Fonte: towardsdatascience.com
