Un progetto AI del fine settimana: esecuzione del riconoscimento vocale e di un GPT LLaMA-2 su un Raspberry Pi |  di Dmitrii Eliuseev |  Gennaio 2024

 | Intelligenza-Artificiale

Un utilizzo completamente offline di Whisper ASR e LLaMA-2 GPT Model

Raspberry Pi che esegue un modello LLaMA, immagine dell’autore

Al giorno d’oggi, nessuno sarà sorpreso dall’esecuzione di un modello di deep learning nel cloud. Ma la situazione può essere molto più complicata nel mondo dei dispositivi edge o consumer. Ci sono diverse ragioni per questo. Innanzitutto, l’uso delle API cloud richiede che i dispositivi siano sempre online. Questo non è un problema per un servizio web ma può essere un problema per il dispositivo che deve essere funzionante senza accesso a Internet. In secondo luogo, le API cloud costano denaro e i clienti probabilmente non saranno felici di pagare l’ennesima quota di abbonamento. Ultimo ma non meno importante, dopo diversi anni, il progetto potrebbe essere terminato, gli endpoint API verranno disattivati ​​e il costoso hardware si trasformerà in un mattone. Il che naturalmente non è amichevole per i clienti, l’ecosistema e l’ambiente. Ecco perché sono convinto che l’hardware dell’utente finale dovrebbe essere completamente funzionante offline, senza costi aggiuntivi o utilizzando le API online (beh, può essere facoltativo ma non obbligatorio).

In questo articolo mostrerò come eseguire un modello LLaMA GPT e il riconoscimento vocale automatico (ASR) su un Raspberry Pi. Ciò ci consentirà di porre domande su Raspberry Pi e ottenere risposte. E come promesso, tutto funzionerà completamente offline.

Entriamo nel vivo!

Il codice presentato in questo articolo è destinato a funzionare su Raspberry Pi. Ma la maggior parte dei metodi (eccetto la parte “display”) funzionerà anche su un laptop Windows, OSX o Linux. Quindi, i lettori che non hanno un Raspberry Pi possono testare facilmente il codice senza problemi.

Hardware

Per questo progetto, utilizzerò un file Lampone Pi4. È un computer a scheda singola con Linux; è piccolo e richiede solo 5 V CC senza ventole e raffreddamento attivo:

Raspberry Pi 4, fonte immagine Wikipedia

Un modello più recente del 2023, il Raspberry Pi 5, dovrebbe essere ancora migliore; secondo i benchmark, è quasi 2 volte più veloce. Ma costa anche quasi il 50% in più e per il nostro test il modello 4 è abbastanza buono.

Fonte: towardsdatascience.com

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *