Non è passato più di un anno da quando GPT polvere di stelle ✨ copriva quasi tutti i settori a livello globale. Sempre più esperti, di qualsiasi campo, desiderano utilizzare Large Language Models (LLM) per ottimizzare il proprio flusso di lavoro. Evidentemente il mondo aziendale non poteva essere assente dal safari di questa nuova tendenza. Il futuro promette possibilità senza precedenti, ma a un costo adeguato.
Lo scopo di questo progetto è dimostrare una soluzione end-to-end per sfruttare gli LLM, in modo da mitigare le preoccupazioni sulla privacy e sui costi. Utilizzeremo LLMWareun framework open source per lo sviluppo di app LLM aziendali di livello industriale, Retrieval Augmented Generation (STRACCIO) metodo (1) e il BLING – una raccolta di recente introduzione di piccoli modelli open source, eseguiti esclusivamente su CPU.
Concetto
Dopo aver previsto con successo il 🏀 di Jrue Holiday trasferimento ai Milwaukee Bucks, Data Corp ha intrapreso un nuovo progetto: assistere una PMI FinTech nell’ottimizzazione del proprio processo decisionale con l’intelligenza artificiale. Cioè, per costruire uno strumento che manipolerà milioni (!) di documenti proprietari, interrogherà modelli GPT all’avanguardia e fornirà ai manager informazioni concise e ottimali. Va tutto molto bene, ma presenta due grossi inconvenienti:
- Sicurezza: Interrogare un modello LLM commerciale (ad esempio GPT-4) significa essenzialmente condividere informazioni proprietarie su Internet (che ne dici di tutti quei milioni di documenti?). Una violazione dei dati comprometterebbe sicuramente l’integrità dell’azienda.
- Costo: Uno strumento automatizzato come quello sopra favorirà la produttività dei manager, ma non c’è pranzo gratis. Le query giornaliere previste potrebbero arrivare a centinaia e, considerati gli LLM “assetati di GPU”, il costo aggregato potrebbe facilmente sfuggire al controllo.
Le limitazioni di cui sopra mi hanno portato a un’alternativa complicata:
Che ne dici di sviluppare uno strumento personalizzato che consumerà conoscenza proprietaria e…
Fonte: towardsdatascience.com
