Sperimentazione gratuita con modelli linguistici di grandi dimensioni
Tutti sanno che i grandi modelli linguistici sono, per definizione, grandi. E anche non molto tempo fa erano disponibili solo per i possessori di hardware di fascia alta, o almeno per le persone che pagavano per l’accesso al cloud o addirittura per ogni chiamata API. Al giorno d’oggi, il tempo sta cambiando. In questo articolo, mostrerò come eseguire una libreria LangChain Python, un database vettoriale FAISS e un modello Mistral-7B in Google Colab in modo completamente gratuito e faremo alcuni esperimenti divertenti con esso.
Componenti
Ci sono molti articoli qui su TDS sull’uso di modelli linguistici di grandi dimensioni in Python, ma spesso non è così facile riprodurli. Ad esempio, molti esempi di utilizzo di una libreria LangChain utilizzano an OpenAI class, il cui primo parametro (indovina un po’?) è OPENAI_API_KEY. Alcuni altri esempi di RAG (Retrieval Augmented Generation) e database vettoriali utilizzano Weaviate; la prima cosa che vediamo dopo aver aperto il loro sito web è “Prezzi”. Qui utilizzerò una serie di librerie open source che possono essere utilizzate completamente gratuitamente:
- LangChain. È un framework Python per lo sviluppo di applicazioni basate su modelli linguistici. È inoltre indipendente dal modello e lo stesso codice può essere riutilizzato con modelli diversi.
- FAISS (Ricerca di somiglianza AI di Facebook). È una libreria progettata per un’efficiente ricerca di similarità e archiviazione di vettori densi, che utilizzerò per Retrieval Augmented Generation.
- Maestrale 7B è un modello linguistico con parametri di grandi dimensioni 7.3B (rilasciato sotto la licenza Apache 2.0), che, secondo gli autori, sta superando 13B Llama2 su tutti i benchmark. È disponibile anche su Abbracciare il visoquindi il suo utilizzo è piuttosto semplice.
- Ultimo, ma non per importanza, Google Co è anche una parte importante di questo test. Fornisce accesso gratuito ai notebook Python basati su CPU, NVIDIA Tesla T4 da 16 GB o persino NVIDIA A100 da 80 GB (anche se non ho mai visto l’ultimo disponibile per un’istanza gratuita).
Adesso entriamo nel merito.
Installare
Come primo passo, dobbiamo aprire Google Colab e creare un nuovo taccuino. Le librerie necessarie possono essere installate utilizzando pip nella prima cella:
Fonte: towardsdatascience.com
