Gli LLM oggi soffrono di imprecisioni su larga scala, ma ciò non significa che si debba cedere terreno competitivo aspettando di adottare l’intelligenza artificiale generativa.
Ogni tecnologia aziendale ha uno scopo altrimenti non esisterebbe. Lo scopo aziendale dell’intelligenza artificiale generativa è produrre output utilizzabili dall’uomo da dati tecnici, aziendali e linguistici in modo rapido e su larga scala per promuovere produttività, efficienza e guadagni aziendali. Ma questa funzione primaria dell’intelligenza artificiale generativa – fornire una risposta spiritosa – è anche la fonte del più grande ostacolo all’adozione da parte delle imprese dei modelli linguistici di grandi dimensioni (LLM): le cosiddette “allucinazioni”.
Perché si verificano le allucinazioni? Perché, fondamentalmente, gli LLM sono complessi sistemi di corrispondenza statistica. Analizzano miliardi di dati nel tentativo di determinare modelli e prevedere la risposta più probabile a qualsiasi richiesta. Ma sebbene questi modelli possano impressionarci per l’utilità, la profondità e la creatività delle loro risposte, seducendoci ogni volta a fidarci di loro, sono tutt’altro che affidabili. Nuovo ricerca di Vectara ha scoperto che i chatbot possono “inventare” nuove informazioni fino al 27% delle volte. In un contesto aziendale in cui la complessità delle domande può variare notevolmente, tale numero sale ancora di più. UN punto di riferimento recente dal laboratorio AI di data.world, utilizzando dati aziendali reali, ha scoperto che, se distribuiti come soluzione autonoma, i LLM restituiscono risposte accurate alla maggior parte delle domande aziendali di base solo il 25,5% delle volte. Quando si tratta di query di livello intermedio o esperto, che sono ancora ben entro i limiti delle tipiche query aziendali basate sui dati, la precisione è scesa allo ZERO%.!
La tendenza ad avere allucinazioni può essere irrilevante per le persone che giocano con ChatGPT per casi d’uso piccoli o nuovi. Ma quando si tratta di implementazione aziendale, le allucinazioni rappresentano un rischio sistemico. Le conseguenze vanno da scomode (un chatbot di servizio che condivide informazioni irrilevanti nell’interazione con un cliente) a catastrofiche, come l’inserimento del numero sbagliato in un documento SEC.
Allo stato attuale, l’intelligenza artificiale generativa è ancora una scommessa per le imprese. Tuttavia, è anche necessario. Come abbiamo appreso alla prima conferenza degli sviluppatori di OpenAI, Il 92% delle aziende Fortune 500 utilizzano le API OpenAI. Il potenziale di questa tecnologia nell’impresa è così trasformativo che il percorso da seguire è straordinariamente chiaro: iniziare ad adottare l’intelligenza artificiale generativa, sapendo che i vantaggi comportano seri rischi. L’alternativa è isolarsi dai rischi e rimanere rapidamente indietro rispetto alla concorrenza. IL inevitabile aumento della produttività è così evidente ora che non approfittarne potrebbe essere fondamentale per la sopravvivenza di un’impresa. Quindi, di fronte a questa illusione di scelta, come possono le organizzazioni integrare l’intelligenza artificiale generativa nei loro flussi di lavoro, mitigando contemporaneamente i rischi?
Innanzitutto, devi dare la priorità alla tua base dati. Come qualsiasi tecnologia aziendale moderna, le soluzioni di intelligenza artificiale generativa sono valide quanto lo sono i dati su cui sono costruite e, secondo il recente sondaggio di Cisco Indice di preparazione all’intelligenza artificialel’intenzione sta superando l’abilità, in particolare sul fronte dei dati. Cisco ha scoperto che mentre l’84% delle aziende di tutto il mondo ritiene che l’intelligenza artificiale avrà un impatto significativo sulla propria attività, all’81% manca la centralizzazione dei dati necessaria per sfruttare al massimo il potenziale degli strumenti di intelligenza artificiale e solo il 21% afferma che la propria rete ha una latenza “ottimale” per supportare carichi di lavoro IA impegnativi. La situazione è simile anche per quanto riguarda la governance dei dati; solo tre intervistati su dieci dispongono attualmente di politiche e protocolli completi sull’IA, mentre solo quattro su dieci dispongono di processi sistematici per le distorsioni dell’IA e le correzioni dell’equità.
Come dimostra il benchmarking, gli LLM hanno già abbastanza difficoltà a recuperare risposte fattuali in modo affidabile. A tutto ciò si aggiunge la scarsa qualità dei dati, la mancanza di capacità di centralizzazione/gestione dei dati, politiche di governance limitate e il rischio di allucinazioni – e le relative conseguenze – razzi. In parole povere, le aziende con una solida architettura dei dati hanno a disposizione informazioni migliori e più accurate e, per estensione, le loro soluzioni di intelligenza artificiale sono attrezzate per prendere decisioni migliori. Lavorare con un catalogo di dati o valutare la governance interna e i processi di immissione dei dati potrebbe non sembrare la parte più entusiasmante dell’adozione dell’intelligenza artificiale generativa. Ma sono proprio queste considerazioni – governance, provenienza e qualità dei dati – che potrebbero determinare il successo o il fallimento di un’iniziativa di intelligenza artificiale generativa. Non solo consente alle organizzazioni di implementare soluzioni di intelligenza artificiale aziendale in modo più rapido e responsabile, ma consente anche loro di stare al passo con il mercato man mano che la tecnologia si evolve.
In secondo luogo, è necessario creare una forza lavoro istruita sull’intelligenza artificiale. La ricerca indica il fatto che tecniche simili ingegneria tempestiva avanzata può rivelarsi utile per identificare e mitigare le allucinazioni. È stato dimostrato che altri metodi, come il perfezionamento, migliorano notevolmente la precisione LLM, fino al punto di sovraperformare modelli di uso generale più ampi e avanzati. Tuttavia, i dipendenti possono adottare queste tattiche solo se dispongono della formazione e dell’istruzione più recenti per farlo. E siamo onesti: la maggior parte dei dipendenti non lo è. Abbiamo poco più di un anno dal lancio di ChatGPT il 30 novembre 2022!
Quando un importante fornitore come Databricks o Snowflake rilascia nuove funzionalità, le organizzazioni affollano webinar, conferenze e workshop per assicurarsi di poter sfruttare le funzionalità più recenti. L’intelligenza artificiale generativa non dovrebbe essere diversa. Crea una cultura nel 2024 in cui educare il tuo team sulle migliori pratiche di intelligenza artificiale è la tua impostazione predefinita; ad esempio, fornendo finanziamenti per programmi di formazione e sviluppo specifici per l’intelligenza artificiale o coinvolgendo un consulente di formazione esterno, come nel lavoro che abbiamo svolto presso data.world con Rachele Boschiche fa parte del nostro comitato consultivo e ha fondato e dirige The AI Exchange. Abbiamo anche promosso Brandon Gadociil nostro primo dipendente di data.world al di fuori di me e dei miei co-fondatori, ad essere il nostro vicepresidente delle operazioni AI. L’incredibile incremento che abbiamo già avuto nella nostra produttività interna è a dir poco fonte di ispirazione (ne ho scritto in questa serie in tre parti.) Brandon appena riferito ieri che abbiamo visto un sorprendente aumento del 25% della produttività del nostro team attraverso l’uso dei nostri strumenti interni di intelligenza artificiale in tutti i ruoli lavorativi nel 2023! L’adozione di questo tipo di cultura contribuirà notevolmente a garantire che la tua organizzazione sia attrezzata per comprendere, riconoscere e mitigare la minaccia delle allucinazioni.
In terzo luogo, devi rimanere al passo con il fiorente ecosistema dell’intelligenza artificiale. Come ogni nuova tecnologia che cambia paradigma, l’intelligenza artificiale è circondata da una proliferazione di pratiche, software e processi emergenti per ridurre al minimo il rischio e massimizzare il valore. Per quanto trasformativi possano diventare i LLM, la meravigliosa verità è che siamo solo all’inizio del lungo arco dell’evoluzione dell’intelligenza artificiale.
Le tecnologie una volta estranee alla tua organizzazione potrebbero diventare critiche. Il suddetto segno di riferimento abbiamo rilasciato saw LLM supportati da un grafico della conoscenza: un’architettura vecchia di decenni per contestualizzare i dati in tre dimensioni (mappatura e correlazione dei dati in modo molto simile al funzionamento del cervello umano) — può migliorare la precisione del 300%! Allo stesso modo, anche tecnologie come i database vettoriali e la generazione aumentata di recupero (RAG) sono diventate importanti data la loro capacità di aiutare ad affrontare il problema delle allucinazioni con gli LLM. A lungo termine, le ambizioni dell’intelligenza artificiale si estendono ben oltre le API dei principali fornitori LLM oggi disponibili, quindi resta curioso e agile nei tuoi investimenti aziendali nell’intelligenza artificiale.
Come ogni nuova tecnologia, le soluzioni di intelligenza artificiale generativa non sono perfette e la loro tendenza ad avere allucinazioni rappresenta una minaccia molto reale alla loro attuale fattibilità per un’ampia diffusione aziendale. Tuttavia, queste allucinazioni non dovrebbero impedire alle organizzazioni di sperimentare e integrare questi modelli nei propri flussi di lavoro. Anzi, è proprio il contrario, così eloquentemente dichiarato del pioniere dell’intelligenza artificiale e professore di imprenditorialità a Wharton, Ethan Mollick: “…la comprensione deriva dalla sperimentazione”. Piuttosto, le allucinazioni di rischio imposte dovrebbero agire come una funzione forzante affinché i decisori aziendali riconoscano la posta in gioco, adottino misure per mitigare tale rischio di conseguenza e raccolgano i primi benefici dei LLM nel processo. Il 2024 è l’anno in cui la tua azienda dovrebbe fare il salto.
Fonte: towardsdatascience.com
