Distribuzione di modelli linguistici di grandi dimensioni: vLLM e quantizzazione | di Ayoola Olafenwa | Aprile 2024 | Intelligenza-Artificiale

Output generato

Latency: 1.218436622619629seconds
Throughput: 63.15334836428132tokens/second
(1, 2, 3, 4, 5)
A: def sum_list(numbers):
total = 0
for num in numbers:
total += num
return total
numbers = (1, 2, 3, 4, 5)
print(sum_list(numbers))

Ripartizione del codice passo dopo passo

Riga 1–3: Pacchetti richiesti importati da vLLM per l'esecuzione Phi-2.

Riga 5–8: Caricato Phi-2 con vLLM, definito il prompt e impostato parametri importanti per l'esecuzione del modello.

Linea 10–16: Generata la risposta del modello utilizzando llm.generate e calcolato il latenza.

Linea 19–21: Ottenuta la lunghezza totale dei token generati dalla risposta, divisa la lunghezza dei token per la latenza per ottenere il file portata.

Linea 23–24: Ottenuto il testo generato.

Ho corso Phi-2 con vLLM sullo stesso prompt, “Genera un codice Python che accetta un elenco di numeri e restituisce la somma.” Sulla stessa GPU, un A1000 (GPU da 16 GB), vLLM produce a latenza Di 1,2 secondi e un portata Di 63 gettoni/secondorispetto ai trasformatori Hugging Face' latenza Di 2,85 secondi e un portata Di 32 gettoni/secondo. L'esecuzione di un modello linguistico di grandi dimensioni con vLLM produce lo stesso risultato accurato dell'utilizzo di Hugging Face, con una latenza molto inferiore e un throughput più elevato.

Nota: Le metriche (latenza e throughput) che ho ottenuto per vLLM sono parametri di riferimento stimati per le prestazioni vLLM. La velocità di generazione del modello dipende da molti fattori, come la lunghezza della richiesta di input e la dimensione della GPU. Secondo il rapporto ufficiale vLLM, l'esecuzione di un modello LLM su una potente GPU come l'A100 in un ambiente di produzione con vLLM consente di ottenere Produttività 24 volte superiore che Hugging Face Transformers.

Benchmarking di latenza e throughput in tempo reale

Il modo in cui ho calcolato la latenza e il throughput per l'esecuzione di Phi-2 è sperimentale e l'ho fatto per spiegare come vLLM accelera le prestazioni di un modello linguistico di grandi dimensioni. Nel caso d'uso reale degli LLM, come un sistema basato su chat in cui il modello genera un token non appena viene generato, misurare la latenza e il throughput è più complesso.

Un sistema basato su chat si basa su token di output in streaming. Alcuni dei principali fattori che influenzano le metriche LLM sono È ora del primo gettone (il tempo necessario affinché un modello generi il primo token), Tempo per token di output (il tempo impiegato per token di output generato), la lunghezza della sequenza di input, l'output previsto, il totale dei token di output previstiE la dimensione del modello. In un sistema basato su chat, la latenza è solitamente una combinazione di È ora del primo gettone E Tempo per token di output moltiplicato per il totale dei token di output previsti.

Maggiore è la lunghezza della sequenza di input passata in un modello, più lenta è la risposta. Alcuni degli approcci utilizzati nell'esecuzione di LLM in tempo reale prevedono il raggruppamento in batch delle richieste di input degli utenti o dei prompt per eseguire l'inferenza sulle richieste contemporaneamente, il che aiuta a migliorare il throughput. In generale, l'utilizzo di una GPU potente e il servizio LLM con strumenti efficienti come vLLM migliora sia la latenza che il throughput in tempo reale.

Esegui la distribuzione vLLM su Google Colab

La quantizzazione è la conversione di un modello di machine learning da una precisione maggiore a una precisione inferiore riducendo i pesi del modello in bit più piccoli, solitamente 8 bit O 4 bit. Gli strumenti di distribuzione come vLLM sono molto utili per l'inferenza di modelli linguistici di grandi dimensioni con una latenza molto bassa e un throughput elevato. Siamo in grado di correre Phi-2 con Hugging Face e vLLM comodamente sulla GPU T4 su Google Colab perché è un LLM più piccolo con 2,7 miliardi di parametri. Ad esempio, un modello da 7 miliardi di parametri come Maestrale 7B non può essere eseguito su Colab con Hugging Face o vLLM. La quantizzazione è la soluzione migliore per gestire i requisiti hardware della GPU per modelli linguistici di grandi dimensioni. Quando la disponibilità della GPU è limitata e dobbiamo eseguire un modello linguistico molto ampio, la quantizzazione è l'approccio migliore per caricare LLM su dispositivi vincolati.

Bit e byte

È una libreria Python creata con funzioni di quantizzazione personalizzate per ridurre i pesi del modello in bit più bassi (8 bit E 4 bit).

Installa BitsandBytes

pip3 install bitsandbytes

Quantizzazione del modello Mistral 7B

Maestrale 7Bun modello da 7 miliardi di parametri di MistralAI, è uno dei migliori modelli linguistici di grandi dimensioni open source all'avanguardia. Seguirò un processo passo passo di corsa Maestrale 7B con diverse tecniche di quantizzazione che possono essere eseguite sulla GPU T4 su Google Colab.

Quantizzazione con precisione a 8 bit: questa è la conversione del peso di un modello di machine learning in una precisione a 8 bit. Bit e byte è stato integrato con i trasformatori Hugging Face per caricare un modello linguistico utilizzando lo stesso codice Hugging Face, ma con piccole modifiche per la quantizzazione.

<s> (INST) What is Natural Language Processing? (/INST) Natural Language Processing (NLP) is a subfield of artificial intelligence (AI) and
computer science that deals with the interaction between computers and human language. Its main objective is to read, decipher, 
understand, and make sense of the human language in a valuable way. It can be used for various tasks such as speech recognition, 
text-to-speech synthesis, sentiment analysis, machine translation, part-of-speech tagging, name entity recognition, 
summarization, and question-answering systems. NLP technology allows machines to recognize, understand,
and respond to human language in a more natural and intuitive way, making interactions more accessible and efficient.</s>