La GenAI che genera valore aziendale reale richiede lavoro reale. Ma ne vale la pena.
GenAI è ovunque guardi e le organizzazioni di tutti i settori stanno esercitando pressioni sui propri team affinché si uniscano alla gara: Il 77% dei leader aziendali temono che stiano già perdendo i vantaggi di GenAI.
I team di dati si stanno affrettando per rispondere alla chiamata. Ma costruire un modello di intelligenza artificiale generativa che promuova effettivamente il valore aziendale lo è difficile.
E a lungo termine, una rapida integrazione con l’API OpenAI non basterà. È GenAI, ma dov’è il fossato? Perché gli utenti dovrebbero sceglierti tramite ChatGPT?
Questo rapido controllo della casella sembra un passo avanti, ma se non stai già pensando a come connettere gli LLM con i tuoi dati proprietari e il contesto aziendale per generare effettivamente valore differenziato, sei indietro.
Non è un’iperbole. Ho parlato con una mezza dozzina di leader dei dati proprio questa settimana solo su questo argomento. Nessuno di loro si è accorto che questa è una gara. Al traguardo ci saranno vincitori e vinti. I Blockbuster e i Netflix.
Se ritieni che il via sia partito, ma la tua squadra è ancora sulla linea di partenza facendo stretching e chiacchierando di “bolle” e “hype”, ho raccolto 5 dure verità per aiutarti a scrollarti di dosso l’autocompiacimento.
“Barr, se GenAI è così importante, perché le funzionalità attuali che abbiamo implementato sono così poco adottate?”
Bene, ci sono alcuni motivi. Innanzitutto, la tua iniziativa di intelligenza artificiale non è stata concepita come risposta a un afflusso di problemi degli utenti ben definiti. Per la maggior parte dei team dati, è perché stai correndo ed è presto e vuoi acquisire esperienza.
Tuttavia, non passerà molto tempo prima che i tuoi utenti abbiano un problema che può essere risolto meglio da GenAI e, quando ciò accadrà, avrai un’adozione molto migliore rispetto al tuo team tigre che fa brainstorming sui modi per collegare GenAI a un caso d’uso.
E poiché è presto, le funzionalità di intelligenza artificiale generativa che sono state integrate sono semplicemente “ChatGPT ma da questa parte”.
Lasciate che vi faccia un esempio. Pensa a un’applicazione di produttività che potresti utilizzare ogni giorno per condividere le conoscenze organizzative. Un’app come questa potrebbe offrire una funzionalità per eseguire comandi come “Riassumi”, “Allunga” o “Cambia tono” su blocchi di testo non strutturato. Un comando equivale a un credito AI.
Sì, è utile, ma non è differenziato.
Forse il team decide di acquistare dei crediti AI, o forse semplicemente fa clic su altra scheda e chiedi a ChatGPT. Non voglio trascurare o sottovalutare completamente il vantaggio di non esporre i dati proprietari a ChatGPT, ma è anche una soluzione e una visione più piccola di ciò che viene dipinto nelle chiamate sugli utili in tutto il paese.
Quindi considera: qual è il tuo elemento di differenziazione e valore aggiunto GenAI? Lasciate che vi dia un suggerimento: dati proprietari di alta qualità.
Ecco perché un modello RAG (o, talvolta, un modello messo a punto) è così importante per le iniziative di Gen AI. Fornisce al LLM l’accesso ai dati proprietari dell’azienda. Spiegherò perché di seguito.
È vero: l’intelligenza artificiale generativa intimidisce.
Certo, potresti integrare il tuo modello di intelligenza artificiale più profondamente nei processi della tua organizzazione, ma ciò sembra rischioso. Ammettiamolo: ChatGPT dà allucinazioni e non può essere previsto. Esiste un limite di conoscenza che lascia gli utenti suscettibili a output non aggiornati. Ci sono ripercussioni legali sulla cattiva gestione dei dati e sulla fornitura di informazioni errate ai consumatori, anche se accidentali.
Gli incidenti legati ai tuoi dati hanno delle conseguenze. Ed è per questo che è fondamentale sapere esattamente cosa stai dando in pasto alla GenAI e che i dati siano accurati.
In forma anonima sondaggio abbiamo inviato ai leader dei dati chiedendo quanto fosse lontano il loro team dall’abilitare un caso d’uso GenAI, una risposta è stata: “Non credo che la nostra infrastruttura sia l’elemento che ci trattiene. Stiamo procedendo con molta cautela in questo caso: con il panorama che si muove così velocemente e il rischio di danni alla reputazione da parte di un chatbot “canaglia”, stiamo trattenendo il fuoco e aspettando che l’hype si calmi un po’!
Questo è un sentimento ampiamente condiviso da molti leader dei dati con cui parlo. Se all’improvviso il team addetto ai dati fa emergere dati sicuri rivolti al cliente, è in difficoltà. La governance dei dati è una considerazione importante ed è a barra alta cancellare.
Questi sono rischi reali che necessitano di soluzioni, ma non li risolverai restando in disparte. Esiste anche il rischio reale di vedere la tua attività venire radicalmente interrotta dal team che l’ha capito per primo.
Mettere a terra gli LLM nei tuoi dati proprietari con messa a punto e RAG è un pezzo importante di questo puzzle, ma non è facile…
Credo che il RAG (retrieval augmented generation) e il fine tuning siano il fulcro del futuro dell’intelligenza artificiale generativa aziendale. Ma sebbene RAG sia l’approccio più semplice nella maggior parte dei casi, lo sviluppo di app RAG può comunque essere complesso.
RAG potrebbe sembrare la soluzione ovvia per personalizzare il tuo LLM. Ma lo sviluppo RAG prevede una curva di apprendimento, anche per i data engineer più talentuosi. Hanno bisogno di sapere ingegneria tempestivadatabase vettoriali e vettori di incorporamento, modellazione dei dati, orchestrazione dei dati, pipeline di dati… tutto per RAG. E, poiché è nuovo (introdotto da Meta AI nel 2020), molte aziende semplicemente non hanno ancora abbastanza esperienza per stabilire le migliori pratiche.
Ecco una semplificazione eccessiva dell’architettura dell’applicazione RAG:
- L’architettura RAG combina il recupero delle informazioni con un modello di generatore di testo, quindi ha accesso al database mentre tenta di rispondere a una domanda dell’utente.
- Il database deve essere a fidato fonte che include dati proprietari e consente l’incorporazione del modello aggiornato E affidabile informazioni nelle risposte e nel ragionamento.
- In background, una pipeline di dati inserisce varie fonti strutturate e non strutturate nel database per mantenerlo accurato e aggiornato.
- La catena RAG prende la query dell’utente (testo) e recupera i dati rilevanti dal database, quindi trasmette tali dati e la query al LLM per generare una risposta altamente accurata e personalizzata.
Ci sono molte complessità in questa architettura, ma presenta importanti vantaggi:
- Fonda il tuo LLM su dati proprietari accurati, rendendolo così molto più prezioso.
- Porta i tuoi modelli nei tuoi dati anziché portare i tuoi dati nei tuoi modelli, il che è un approccio relativamente semplice ed economico.
Possiamo vedere questo diventare una realtà nel moderno stack di dati. I più grandi attori stanno lavorando a una velocità vertiginosa per rendere RAG più semplice servendo LLM nei loro ambienti, dove sono archiviati i dati aziendali.
Corteccia di fiocco di neve ora consente alle organizzazioni di analizzare rapidamente i dati e creare app AI direttamente in Snowflake. La novità di Databricks API del modello di base fornire accesso immediato ai LLM direttamente all’interno di Databricks. Microsoft ha rilasciato Microsoft Azure Servizio OpenAI e Amazon ha recentemente lanciato il Editor di query di Amazon Redshift.
Credo che tutte queste funzionalità abbiano buone possibilità di favorire un’elevata adozione. Ma aumentano anche l’attenzione sulla qualità dei dati in questi archivi dati. Se i dati che alimentano la tua pipeline RAG sono anomali, obsoleti o comunque inaffidabili, qual è il futuro della tua iniziativa di intelligenza artificiale generativa?
Dai un’occhiata approfondita alla tua infrastruttura dati. È probabile che tu avessi una pipeline RAG perfetta, un modello ottimizzato e un caso d’uso chiaro pronto per l’uso domani (E non sarebbe carino?), non avresti ancora set di dati puliti e ben modellati a cui inserire il tutto.
Supponiamo che tu voglia che il tuo chatbot si interfaccia con un cliente. Per fare qualcosa di utile, è necessario conoscere il rapporto dell’organizzazione con il cliente. Se sei un’organizzazione aziendale oggi, tale relazione è probabilmente definita attraverso 150 origini dati e 5 database isolati… 3 dei quali sono ancora in sede.
Se questo descrive la tua organizzazione, è possibile che ti manchi un anno (o due!) affinché la tua infrastruttura dati sia pronta per GenAI.
Il che significa che se vuoi la possibilità di farlo qualcosa con GenAI un giorno prestodevi creare set di dati utili, altamente affidabili, consolidati e ben documentati in una piattaforma dati moderna… ieri. Oppure l’allenatore ti chiamerà in partita e ti abbasserai i pantaloni.
Il tuo team di ingegneria dei dati è la spina dorsale per garantire l’integrità dei dati. Inoltre, un moderno stack di dati consente al team di ingegneria dei dati di monitorare continuamente la qualità dei dati nel futuro.
L’intelligenza artificiale generativa è uno sport di squadra, soprattutto quando si tratta di sviluppo. Molti team di dati commettono l’errore di escludere giocatori chiave dai loro team tigre GenAI, e questo costa loro a lungo termine.
Chi Dovrebbe far parte di una squadra di tigri AI? Leadership, o un primario stakeholder aziendale, per guidare l’iniziativa e ricordare al gruppo il valore aziendale. Ingegneri del software per sviluppare il codice, l’applicazione rivolta all’utente e le chiamate API. I data scientist prendono in considerazione nuovi casi d’uso, perfezionano i modelli e spingono il team in nuove direzioni. Chi manca qui?
Ingegneri dei dati.
Gli ingegneri dei dati sono fondamentali per le iniziative GenAI. Saranno in grado di comprendere i dati aziendali proprietari che forniscono il vantaggio competitivo rispetto a ChatGPT e costruiranno le pipeline che renderanno tali dati disponibili a LLM tramite RAG.
Se i tuoi ingegneri dei dati non sono nella stanza, la tua squadra tigre non è al completo. Le aziende più pionieristiche nel campo della GenAI mi dicono che stanno già incorporando ingegneri dei dati in tutte le squadre di sviluppo.
Se qualcuna di queste dure verità si applica al tuo caso, non preoccuparti. L’intelligenza artificiale generativa è in una fase così nascente che c’è ancora tempo per ricominciare da capo e, questa volta, accettare la sfida.
Fai un passo indietro per comprendere le esigenze del cliente che un modello di intelligenza artificiale può risolvere, coinvolgi i data engineer nelle fasi di sviluppo precedenti per garantire un vantaggio competitivo fin dall’inizio e prenditi il tempo necessario per costruire una pipeline RAG in grado di fornire un flusso costante di prodotti di alta qualità , dati attendibili.
Inoltre, investi in uno stack di dati moderno per rendere la qualità dei dati una priorità. Perché l’intelligenza artificiale generativa senza dati di alta qualità è solo tutta una sciocchezza.
Fonte: towardsdatascience.com
