Esecuzione di LLaMA e Gemma LLM con C++ e Python
Al giorno d’oggi, “l’intelligenza artificiale mobile” è una tendenza in rapida crescita. Gli smartphone diventano più potenti e i modelli di grandi dimensioni diventano più efficienti. Alcuni clienti potrebbero voler attendere l'aggiunta di nuove funzionalità da parte dei produttori di telefoni, ma possiamo utilizzare da soli gli ultimi modelli di intelligenza artificiale? In effetti, possiamo, e i risultati sono divertenti. In questo articolo mostrerò come eseguire i modelli linguistici di grandi dimensioni LLaMA e Gemma su un telefono Android e vedremo come funziona. Come al solito in tutti i miei test, tutti i modelli verranno eseguiti localmente e non sono necessarie API cloud o pagamenti.
Entriamo nel vivo!
Termux
Il primo componente del nostro test è Termuxun terminale Linux a tutti gli effetti realizzato come applicazione Android. È gratuito e non richiede l'accesso root; tutti i componenti Linux vengono eseguiti esclusivamente in una cartella Termux. Termux può essere scaricato da Google Playma al momento della stesura di questo testo, quella versione era piuttosto vecchia e il comando “pkg update” in Termux non funzionava più. Una versione più recente è disponibile come APK su F-Droid sito web; funziona bene e non ho avuto problemi.
Quando Termux è installato sul telefono, possiamo eseguirlo e vedere un'interfaccia della riga di comando Linux standard:
In teoria possiamo inserire tutti i comandi direttamente sul telefono, ma digitare sulla piccola tastiera è scomodo. Un modo molto migliore è installare SSH; questo può essere fatto usando “pkg install”:
pkg update
pkg upgrade
pkg install openssh
Successivamente, possiamo avviare il demone SSH in Termux eseguendo il file sshd comando. Dobbiamo anche ottenere il nome utente e impostare la password SSH:
sshd
whoami
#> u0_a461
passwd
#> Enter new password
...
Ora possiamo connetterci a un telefono con qualsiasi client SSH:
ssh -p 8022 u0_a461@192.168.100.101
Qui, 8022 è una porta SSH di Termux predefinita, “u0_a461” è un nome utente che otteniamo da un comando “whoami” e “192.168.100.101” è l'IP…
Fonte: towardsdatascience.com
