Organizzare l’intelligenza artificiale generativa: 5 lezioni apprese dai team di data science | di Shane Murray | Agosto 2023 | Intelligenza-Artificiale

Gli LLM sono estremamente promettenti, ma generare valore sostenibile richiederà più di una squadra tigre

Ce l’hai fatta!

Dopo che la leadership esecutiva ha vagamente promesso alle parti interessate che le nuove funzionalità di Gen AI sarebbero state incorporate in tutta l’organizzazione, il tuo squadra della tigre si è precipitato per produrre un MVP che seleziona la casella. Integrare l’API OpenAI nella tua applicazione non è stato così difficile e lo è Maggio rivelarsi addirittura utile.

Ma ora cosa succede? Le squadre Tiger non possono sprintare per sempre. Ogni membro ha un altro ruolo all’interno dell’organizzazione che richiederà ancora una volta la maggior parte del suo tempo e della sua concentrazione.

Per non parlare del fatto che c’è una ragione per cui i processi e le strutture tipici che sono stati ignorati e accelerati per questo progetto. Si scopre che sono piuttosto fondamentali per garantire l’idoneità del prodotto, la transizione dallo sviluppo alle operazioni e l’ottimizzazione dei costi (tra le altre cose).

A pensarci bene, ora che il progetto è completo non esiste davvero alcuna infrastruttura di piattaforma che possa aiutare a scalare il prossimo ciclo di modelli LLM o altre funzionalità dei prodotti Gen AI.

Sembra che sia giunto il momento di iniziare a pensare a come strutturare e supportare un team di intelligenza artificiale all’interno della tua organizzazione dati. E per quanto il processo possa sembrare semplice grazie a quelle dimostrazioni di prodotto, ci sono segnali di acque agitate davanti a noi:

• A meno che tu non sia uno di una mezza dozzina di grandi colossi tecnologici, le competenze in scienza dei dati e Gen AI sono un bene raro. A questo punto, nessuno ha nemmeno un’esperienza significativa. È nuovo per tutti.
• L’azienda sa di volere la Gen AI, ma non sa ancora perché. La tecnologia è entusiasmante, ma i casi d’uso specifici sono confusi. Nessuno ha molta esperienza nel mantenimento di una distribuzione.
• L’ecosistema è nato da un giorno all’altro, ma le tecnologie di supporto e le migliori pratiche non sono ancora maturate. I rischi sono generalmente imprevisti e l’incertezza è elevata.

Se questo suona familiare, è perché lo è. I team di scienza dei dati hanno riscontrato tutti questi problemi con i loro algoritmi e applicazioni di apprendimento automatico negli ultimi cinque anni circa.

È stata un’esperienza dolorosa. Nel 2020, Lo ha riferito Gartner solo il 53% dei progetti di machine learning è passato dal prototipo alla produzione, e questo vale per le organizzazioni con un certo livello di esperienza nell’intelligenza artificiale. Per le aziende che stanno ancora lavorando per sviluppare una cultura basata sui dati, quel numero è probabilmente molto più alto alcune stime del tasso di fallimento salendo a quasi il 90%.

Come persona che ha guidato i team di dati del New York Times e ha affrontato molte di queste sfide, posso attestare quanto siano importanti la struttura organizzativa, i processi e le piattaforme per il successo di queste iniziative.

Ho anche parlato con centinaia di leader dei dati di un’ampia gamma di aziende di dimensioni e settori che hanno espresso una serie comune di lezioni apprese. Queste best practice, ottenute con il sangue, il sudore e le lacrime dei team di data science, dovrebbero essere al centro dell’attenzione di ogni leader dei dati che pensa alla propria strategia di Gen AI a lungo termine e alla struttura del team.

Proprio come non puoi svegliarti senza alcun allenamento e andare a correre una maratona, la tua organizzazione non può creare una struttura organizzativa Gen AI che rispecchi i principali team di dati finché non avrà rafforzato i suoi muscoli operativi.

Uno degli errori più comuni che ho riscontrato a questo proposito è stato quello di limitare troppo il proprio pool di talenti nella fretta di decentralizzarli e integrarli in tutta l’azienda (magari all’interno di un’azienda). maglia di dati). Anche se si acquisisce una migliore comprensione e vicinanza al business, la creazione di valore sostenibile è difficile.

Possono esserci sacche di successo, ma queste sono spesso legate e dipendenti dal talento di uno o due intraprendenti. Il talento nella scienza dei dati è scarso, i talenti senior nella scienza dei dati in grado di identificare, stabilire le priorità, comunicare ed eseguire progetti di alto valore in modo indipendente sono ancora più rari.

Quando questi individui di talento se ne vanno, la conoscenza istituzionale, la base di codice e lo slancio del progetto spesso se ne vanno con loro. I membri sopravvissuti della squadra sono costretti ad assumere il ruolo di archeologo, tentando di discernere lo scopo e il significato dei manufatti lasciati da questi progetti abbandonati. La maggior parte delle volte si riparte quasi da zero.

Il modello di consulenza si è spesso rivelato un approccio più efficace per i team più piccoli di data science e machine learning. Ciò consolida una massa critica di talenti che può essere indirizzata verso progetti con la massima priorità. Il potenziale svantaggio da mitigare è che si desidera prevenire il centro di eccellenza dal diventare un laboratorio che produce modelli placcati in oro che un professore potrebbe amare, ma che non sono allineati alla sfida aziendale in questione.

Man mano che un team cresce e risale la curva di maturità, strutture organizzative leggermente diverse diventano più appropriate. Il modello “specializzato” concentrerà in genere le risorse di data science e machine learning attorno a un paio di problemi di alto valore, con team distribuiti all’interno del dominio aziendale pertinente.

L’espressione più comune di ciò si verifica quando l’apprendimento automatico è una parte fondamentale del prodotto (forse personalizzazione o rilevamento di frodi) e l’associazione con il prodotto o il team tecnico è più importante dell’associazione con il team dati principale. Spesso il core data team investe nella scienza dei dati, in gran parte indipendentemente dai team specializzati.

Questo modello può avere successo, ma crea inefficienze e silos. Ad esempio, sia i team centrali che quelli specializzati avranno in genere piattaforme personalizzate con pochi servizi condivisi. I dati degli eventi in streaming all’interno del dominio del prodotto potrebbero trarre vantaggio dall’arricchimento dei dati personalizzati raccolti dal team centralizzato, ma tale connessione potrebbe non essere mai stabilita.

L’altra struttura organizzativa della fase successiva potrebbe essere descritta come il modello “piattaforma”. I modelli integrati e specializzati possono soffrire di una mancanza di visibilità e coesione tra i domini aziendali, trattando ogni problema di data science con la propria soluzione full-stack, nonostante le somiglianze intrinseche nel tipo di problemi risolti tra i domini.

La soluzione è creare una separazione deliberata dai domini aziendali o dai settori verticali, in modo da non adattarsi eccessivamente al loro modello operativo, come faresti con altri team di piattaforme orizzontali.

Uno dei principali vantaggi derivanti dal considerare l’apprendimento automatico come un obiettivo della piattaforma è la capacità di investire in un’infrastruttura di piattaforma condivisa una volta dimostrato il valore di ciascuna applicazione ML, poiché riduce le risorse e i costi per la distribuzione e la manutenzione di nuove applicazioni. Questo investimento dovrebbe inizialmente essere piccolo rispetto all’investimento nei team applicati, consentendo loro di operare in modo relativamente indipendente e perseguire gli obiettivi a lungo termine dei loro partner commerciali.

In questo modello di piattaforma, un team GenAI potrebbe essere creato come uno dei team applicati, con il mandato e le risorse tecniche per personalizzare il proprio stack in base alle necessità per fornire valore, coordinandosi al tempo stesso con altri team della piattaforma per riutilizzare l’infrastruttura e gli standard che forniranno valore duraturo per l’organizzazione. Consiglio vivamente questo modello rispetto al tentativo di diffondere la Gen AI tra molti team. La massa critica conta.

Di recente ho avuto una conversazione con un data leader presso una società di media che è stata l’ispirazione per questo post. Mi hanno detto che i loro team di data science erano organizzati per dominio (proprietà dei media in questo caso).

I team di data science stavano lavorando sugli stessi tipi di progetti all’interno di ciascun dominio, vale a dire algoritmi di raccomandazione degli articoli. Senza dubbio ogni dominio trae vantaggio dall’attenzione dedicata ai propri problemi specifici e ogni team di data science trae vantaggio dalla vicinanza ai rispettivi partner commerciali ed editoriali. Ma ha contribuito a evidenziare alcuni aspetti negativi di questa struttura organizzativa; distribuzione inefficiente dei talenti e mancanza di infrastrutture condivise nonostante molti team risolvano gli stessi tipi di problemi di classificazione dei contenuti.

Al New York Times abbiamo trovato efficace organizzare i nostri team di data science attorno a problemi comuni. Una volta che il modello è stato testato in un dominio, in genere era più efficiente adattarlo e modificarlo in base agli input e ai vincoli unici di un altro, piuttosto che avere due team che creavano due modelli in parallelo. Ha senso anche dal punto di vista logico, ci vuole sempre più tempo per costruire il prototipo che il prodotto successivo.

La Gen AI dovrebbe essere considerata nella stessa ottica. Chiedi a un team di concentrarsi su un caso d’uso di alto valore appropriato per la tecnologia, magari suggerimenti personalizzati sui posti per un mercato di eventi o sulla localizzazione linguistica per un sito multimediale, quindi applica quella soluzione ad altri domini dove ha senso.

Il termine “a lungo termine” ha un significato unico nel mondo della tecnologia e dei dati, dove la durata media di un Chief Data Officer è più o meno la stessa di un barattolo di burro di arachidi.

L’obiettivo sarà ancora un problema quando arriverà il momento della festa di conclusione del progetto? Sarà ancora una necessità tra cinque anni durante la quale il nuovo modello potrà essere iterato e trovare ulteriore valore?

La realtà è che, supponendo che non si stia sfruttando un modello standard, le iniziative di machine learning e Gen AI possono essere costose (anche se i LLM si stanno mercificando rapidamente). Lo sviluppo di un modello ben addestrato e governato per adattarsi a un caso d’uso può richiedere mesi o, in alcuni casi, addirittura anni.

L’ascensore rispetto ad altre alternative sarà meglio che ne valga la pena. Ad esempio, un modello di machine learning progettato per ottimizzare la spesa pubblicitaria di Facebook potrebbe sembrare allettante finché non ti rendi conto che ciò viene fatto in modo nativo all’interno della piattaforma pubblicitaria.

Detto questo, concentrarsi sul valore a lungo termine non significa creare una tabella di marcia con il primo rilascio previsto per il 2025.

Quindi, come puoi garantire che i tuoi team di data science e intelligenza artificiale generativa si concentrino sui problemi aziendali che contano? Abbinateli a uno sponsor aziendale.

È improbabile che la ricerca di applicazioni innovative per le nuove tecnologie sia un viaggio lineare e dovrebbero essere previste deviazioni. Una forte partnership con uno sponsor aziendale funge da bussola garantendo che il team non si allontani mai troppo dal valore aziendale mentre esplora la frontiera. Ho scoperto che amplia anche la prospettiva del team oltre l’orizzonte verso i problemi che attraversano i team.

Un forte sponsor aziendale manterrà inoltre il team ben rifornito durante il viaggio, sbloccando risorse e aiutando ad affrontare qualsiasi terreno difficile che coinvolga processi interni o politiche. Parte di questa navigazione richiederà probabilmente l’allineamento delle roadmap tra i team per offrire un’esperienza back-end e front-end coerente.

Poiché è probabile che queste iniziative si estendano su più trimestri, il coinvolgimento dei dirigenti è fondamentale anche per garantire che questi progetti non vengano interrotti prematuramente.

Costruire la macchina che costruisce la macchina è sempre più difficile che produrre il prodotto finale. Questo vale sia che si tratti di una fabbrica che produce un’auto o di una piattaforma dati utilizzata per sviluppare e produrre modelli linguistici di grandi dimensioni.

I leader aziendali avranno sempre in mente l’obiettivo aziendale e spesso lo trascureranno investimenti nella piattaforma dati necessario per arrivarci. Non sono dannosi, si affidano semplicemente a te, l’esperto di dati, per dire loro cosa è necessario.

Ad esempio, i team di machine learning hanno investito nella creazione o nell’acquisto di feature store e soluzioni MLops. Per non parlare dell’investimento fondamentale negli ambienti di dati cloud, nella qualità dei dati e in tutti gli altri aspetti aggiuntivi.

Per le iniziative GenAI, gran parte del piattaforma dati e l’architettura della pipeline di dati rimarrà la stessa (e se non hai ancora investito nel moderno stack di dati questo è il punto di partenza). Non è possibile avere un progetto Gen AI senza dati rilevabili e di alta qualità. Tuttavia, ci saranno alcune soluzioni aggiuntive specifiche per Ingegneria LLM come hosting di modelli, memorizzazione nella cache, framework di agenti AI e molti altri che non sono ancora stati inventati.

Non c’è alcun errore al riguardo. La Gen AI è una tecnologia dirompente e imparare a sfruttarla su larga scala creerà un nuovo corpus di dolorose lezioni apprese. Tuttavia, non è necessario iniziare da zero. Struttura i tuoi team di data science e Gen AI per il successo a lungo termine.