In questo primo articolo approfondiremo ggmlla fantastica libreria tensoriale creata da Georgi Gerganov. Come funziona? Com’è il processo di creazione del tensore? Possiamo iniziare con alcuni semplici esempi?
Tabella dei contenuti
- Implementazione di una semplice funzione matematica
1.1 La definizione di un contesto
1.2 Tensori di inizializzazione
1.3 Calcolo in avanti e grafico di calcolo
1.4 Compilazione ed esecuzione - Considerazioni finali su questa prima parte
- Sostieni la mia scrittura
I modelli linguistici di grandi dimensioni (LLM) sono in voga ovunque. I giornali stanno spendendo tonnellate e tonnellate di parole per descrivere un nuovo mondo in arrivo, assicurando che “l’intelligenza artificiale è finalmente arrivata”. Sebbene i LLM stiano avendo un impatto tangibile nelle nostre vite, dobbiamo mantenere la calma e analizzare criticamente l’intera situazione. L’hype di LLM mi ricorda lo stesso hype che avevano alcuni anni fa i lavori di “scienziato dei dati”. Nel 2014, quando ho iniziato il mio dottorato di ricerca, ho visto un aumento costante delle posizioni lavorative dei data scientist, che ha raggiunto il picco intorno al 2018. A quel tempo, le notizie erano di nuovo in voga scrivendo: “Data scientist: la professione da un milione di dollari” o ” Il lavoro più sexy del 21° secolo”: questi titoli ti suonano familiari con quelli dei LLM?
Da un lato, gli LLM sono una GRANDE tecnologia e un passo avanti verso un quadro di intelligenza artificiale più generale. Questi modelli sono il punto di partenza per un viaggio più profondo nell’intelligenza artificiale e sono sicuro che un giorno la maggior parte delle app e delle tecnologie faranno affidamento su questi modelli. Tuttavia, noto spesso, anche su Medium, che a volte manca chiarezza su questi modelli. Indipendentemente dalla loro potenza e dai risultati fantastici, questi modelli sono troppo pesanti per essere facilmente gestiti o addestrati. Pertanto le aziende devono conoscere molto bene LLM prima di decidere qualsiasi mossa in qualsiasi direzione aziendale strategica. Uno dei punti più toccanti è l’enorme costo della memoria di cui questi modelli dispongono, la grande infrastruttura di cui hanno bisogno per l’addestramento e la costosa infrastruttura di cui hanno bisogno per l’inferenza.
Se pensiamo alla struttura base dell’LLM, ovvero il trasformatore, possiamo riconoscere la classica struttura encoder-decodificatore. Al momento dell’inferenza, il decodificatore deve disporre di un meccanismo in memoria per stabilire…
Fonte: towardsdatascience.com
