Un utilizzo completamente offline di Whisper ASR e LLaMA-2 GPT Model
Al giorno d’oggi, nessuno sarà sorpreso dall’esecuzione di un modello di deep learning nel cloud. Ma la situazione può essere molto più complicata nel mondo dei dispositivi edge o consumer. Ci sono diverse ragioni per questo. Innanzitutto, l’uso delle API cloud richiede che i dispositivi siano sempre online. Questo non è un problema per un servizio web ma può essere un problema per il dispositivo che deve essere funzionante senza accesso a Internet. In secondo luogo, le API cloud costano denaro e i clienti probabilmente non saranno felici di pagare l’ennesima quota di abbonamento. Ultimo ma non meno importante, dopo diversi anni, il progetto potrebbe essere terminato, gli endpoint API verranno disattivati e il costoso hardware si trasformerà in un mattone. Il che naturalmente non è amichevole per i clienti, l’ecosistema e l’ambiente. Ecco perché sono convinto che l’hardware dell’utente finale dovrebbe essere completamente funzionante offline, senza costi aggiuntivi o utilizzando le API online (beh, può essere facoltativo ma non obbligatorio).
In questo articolo mostrerò come eseguire un modello LLaMA GPT e il riconoscimento vocale automatico (ASR) su un Raspberry Pi. Ciò ci consentirà di porre domande su Raspberry Pi e ottenere risposte. E come promesso, tutto funzionerà completamente offline.
Entriamo nel vivo!
Il codice presentato in questo articolo è destinato a funzionare su Raspberry Pi. Ma la maggior parte dei metodi (eccetto la parte “display”) funzionerà anche su un laptop Windows, OSX o Linux. Quindi, i lettori che non hanno un Raspberry Pi possono testare facilmente il codice senza problemi.
Hardware
Per questo progetto, utilizzerò un file Lampone Pi4. È un computer a scheda singola con Linux; è piccolo e richiede solo 5 V CC senza ventole e raffreddamento attivo:
Un modello più recente del 2023, il Raspberry Pi 5, dovrebbe essere ancora migliore; secondo i benchmark, è quasi 2 volte più veloce. Ma costa anche quasi il 50% in più e per il nostro test il modello 4 è abbastanza buono.
Fonte: towardsdatascience.com
