Il ruolo della scienza dei dati nella democratizzazione dell'intelligenza artificiale | di Lior Sidi | Marzo 2024 | Intelligenza-Artificiale

Nell’era emergente dello sviluppo dell’intelligenza artificiale, quali dovrebbero essere i punti focali per i team di data science?

Fino a poco tempo fa i modelli di intelligenza artificiale erano accessibili solo tramite soluzioni realizzate da data scientist o altri fornitori di servizi. Oggi, l’intelligenza artificiale viene democratizzata e resa disponibile per gli esperti non-AI, consentendo loro di sviluppare le proprie soluzioni basate sull’intelligenza artificiale.

Ciò che prima richiedeva settimane o mesi ai team di data science per raccogliere dati, annotare, adattare e distribuire un modello, può richiedere alcuni minuti per essere creato con semplici istruzioni e l'ultimo modello di intelligenza artificiale generativa. Man mano che la tecnologia dell'intelligenza artificiale progredisce, c'è l'aspettativa di adottarla e costruire prodotti più intelligenti basati sull'intelligenza artificiale e noi, come esperti di intelligenza artificiale, abbiamo la responsabilità di supportarla in tutta l'organizzazione.

Noi di Wix non siamo estranei a questa trasformazione: dal 2016 (molto prima di ChatGPT – 22 novembre) il nostro team di data science ha creato numerosi progetti di grande impatto Funzionalità basate sull'intelligenza artificiale. Negli ultimi tempi, con l'avvento della rivoluzione GenAI, un numero crescente di ruoli all'interno di Wix ha abbracciato questa tendenza e insieme abbiamo implementato con successo numerose funzionalità aggiuntive, potenziare la creazione di siti Web con i chatbot, arricchire le capacità di creazione di contenutiE ottimizzare il funzionamento delle agenzie.

Nel nostro ruolo di gruppo di data science presso Wix, abbiamo la responsabilità di garantire la qualità e ampia accettazione dell’IA. Riconoscendo la necessità di contribuire attivamente alla democratizzazione dell’IA, abbiamo identificato tre ruoli chiave che dobbiamo assumere e guidare: 1. Garantire la sicurezza, 2. Migliorare l'accessibilitàE 3. Migliorare la precisione.

L'arte di costruire modelli di intelligenza artificiale è la capacità di navigare e generalizzare fino a casi limite invisibili. Richiede una pratica di scienza dei dati che includa la comprensione del business e dei dati che viene valutata e ottimizzata in modo iterativo.

La democratizzazione dell'intelligenza artificiale per i team di prodotto (responsabili di prodotto, sviluppatori, analisti, UX, autori di contenuti, ecc.) può aumentare i tempi di distribuzione delle applicazioni basate sull'intelligenza artificiale, ma richiede la collaborazione con la scienza dei dati per elaborare i processi e le tecniche giusti.

Nei diagrammi SWOT riportati di seguito possiamo vedere come i team di data science e di prodotto integrano reciprocamente le debolezze e le minacce con i loro punti di forza e opportunità e alla fine forniscono in tempo prodotti IA di grande impatto, affidabili e all'avanguardia.

Uno degli argomenti più discussi in questi giorni è la sicurezza nell’uso dell’intelligenza artificiale. Quando ci concentriamo su soluzioni orientate al prodotto ci sono alcune aree che dobbiamo considerare.

1. Regolamento — i modelli possono prendere decisioni che potrebbero discriminare determinate popolazioni, ad esempio concedere sconti in base al sesso o Discriminazione di genere per annunci di lavoro ben retribuiti. Inoltre, quando si utilizzano strumenti di terze parti come i dati segreti aziendali esterni (LLM) o i dati degli utenti Le informazioni di identificazione personale (PII) possono essere divulgate. Recentemente Nature ha sostenuto che dovrebbe esserci una panoramica normativa per le applicazioni basate sui LLM.
2. Reputazione — i modelli rivolti all'utente possono contenere errori e produrre esperienze negative, ad esempio un chatbot basato su LLM può rispondere in modo errato o non aggiornato oppure razzista tossico risposte o Incoerenze del chatbot di Air Canada.
3. Danno — i modelli decisionali possono prevedere risposte errate e influenzare l’attività aziendale, ad esempio: a Il modello che prevede i prezzi delle case provoca una perdita di 500 milioni di dollari.

I data scientist comprendono l’incertezza dei modelli di intelligenza artificiale e possono offrire diverse soluzioni per gestire tali rischi e consentire un utilizzo sicuro della tecnologia, ad esempio:

• Modellazione sicura — sviluppare modelli per mitigare il rischio, ad esempio un modello di mascheramento delle PII e un modello di rilevamento degli abusi.
• Valutazione su larga scala — Applicare tecniche avanzate di valutazione dei dati per monitorare e analizzare le prestazioni del modello e il tipo di errori.
• Personalizzazione dei modelli — lavorare con dati annotati puliti, filtrando dati dannosi e irrilevanti e costruendo modelli più piccoli e più personalizzabili.
• Ricerca etica – leggere e applicare le ultime ricerche sull'etica nell'intelligenza artificiale e elaborare le migliori pratiche.

L’intelligenza artificiale dovrebbe essere facile da usare e disponibile per gli esperti non di intelligenza artificiale per integrarla nei loro prodotti. Fino a poco tempo fa il modo per integrarsi con i modelli erano modelli online/offline sviluppati da uno scienziato dei dati, sono modelli affidabili, specifici per caso d'uso e le loro previsioni sono accessibili.

Ma il loro principale svantaggio è che non sono personalizzabili da un esperto non esperto di intelligenza artificiale. Questo è il motivo per cui abbiamo ideato un approccio Do-AI-Yourself (D-AI-Y) che ti consente di costruire il tuo modello e quindi distribuirlo come servizio su una piattaforma.

L'obiettivo è creare rapidamente modelli semplici ma preziosi con poca esperienza nell'intelligenza artificiale. Nel caso in cui il modello richieda miglioramenti e ricerche, abbiamo a bordo un data scientist.

Il D-AI-Y contiene i seguenti componenti:

1. Formazione scolastica: insegnare all'organizzazione l'intelligenza artificiale e come usarla correttamente, in Wix abbiamo un programma di ambasciatori dell'intelligenza artificiale, che è un gateway di conoscenza dell'intelligenza artificiale tra i diversi gruppi di Wix e il gruppo Data Science, dove i rappresentanti dei gruppi vengono formati e aggiornati con nuove Strumenti di intelligenza artificiale e migliori pratiche per aumentare la qualità della scala e la velocità dei progetti basati sull'intelligenza artificiale in Wix.
2. piattaforma: avere un modo per connettersi ai LLM e scrivere prompt. La piattaforma dovrebbe contare per il costo e la portata del modello e per l’accessibilità alle fonti di dati interne. In Wix, il gruppo di data science ha creato una piattaforma AI che collega diversi ruoli in Wix a modelli di una varietà di fornitori (per ridurre il blocco del fornitore LLM) e altre funzionalità come la ricerca semantica. La piattaforma funge da hub centralizzato affinché tutti possano utilizzare e condividere i propri modelli, la governance, monitorarli e servirli in produzione.
3. Migliori pratiche e strumenti per costruire modelli semplici e diretti utilizzando prompt o modelli dedicati per risolvere un determinato compito di apprendimento: classificazione, bot QA, sistema di raccomandazione, ricerca semantica, ecc.
4. Valutazione: per ogni attività di apprendimento suggeriamo un determinato processo di valutazione e forniamo anche una guida per la cura dei dati, se necessario.

Ad esempio, un'azienda crea molti modelli di domande e risposte utilizzando Retrieval Augment Generation (RAG), un approccio che risponde alle domande cercando prove pertinenti in grado di rispondere alla domanda e quindi aumentare le prove nel prompt di LLM in modo che possa generare una risposta affidabile basata su Esso.

Quindi, invece di limitarsi a collegare scatole nere e sperare per il meglio, il team di data science può inventare: 1. E educativo materiale e conferenze sull'argomento RAG, ad esempio questo conferenza che ho tenuto sulla ricerca semantica utilizzato per migliorare il RAG. 2. Equipaggia il piattaforma con opportuno DB vettoriale e relativo embedder 3. linee guida per costruire RAG, come recuperare le prove e scrivere il prompt di generazione 4. Linee guida e strumenti di supporto adeguati valutazione di RAG proprio come spiegato in questo Posta TDS e il Triade RAG di Trulens .

Ciò consentirà a molti ruoli all'interno dell'azienda di creare i propri modelli di app basati su RAG in modo affidabile, accurato e scalabile.

Man mano che l’intelligenza artificiale viene adottata sempre di più, cresce l’aspettativa di costruire soluzioni più complesse, accurate e avanzate. In fin dei conti, c'è un limite a quanto un esperto non esperto di intelligenza artificiale può migliorare le prestazioni dei modelli poiché ciò richiede una comprensione più profonda di come funzionano i modelli.

Per rendere i modelli più accurati, il gruppo di scienza dei dati si sta concentrando su questi tipi di sforzi:

1. Migliorare i modelli comuni — personalizzare e migliorare i modelli per conservare la conoscenza di Wix e superare le prestazioni dei modelli generali esterni pronti all'uso.
2. Personalizza i modelli — modelli altamente prioritari e impegnativi che il D-AI-Y non può supportare. A differenza dei modelli comuni, qui abbiamo modelli molto specifici per caso d'uso che richiedono personalizzazione.
3. Migliora il D-AI-Y — man mano che miglioriamo la nostra piattaforma D-AI-Y, le migliori pratiche, gli strumenti e l'intelligenza artificiale di valutazione diventano più accurati, pertanto continuiamo a investire tempo e sforzi nella ricerca per migliorare e identificare modi innovativi per migliorarla.

Dopo anni di attesa, la democratizzazione dell'IA sta avvenendo, abbracciamola! La comprensione intrinseca del business da parte dei team di prodotto, insieme alla facilità d'uso di GenAI, consente loro di creare funzionalità basate sull'intelligenza artificiale che potenziano le capacità del prodotto.

Poiché gli esperti non di intelligenza artificiale non sono dotati di una conoscenza approfondita di come funzionano i modelli di intelligenza artificiale e di come valutarli correttamente su larga scala, potrebbero trovarsi ad affrontare problemi relativi all’affidabilità e all’accuratezza dei risultati. È qui che il gruppo di scienza dei dati può assistere e supportare i propri sforzi guidando i team su come utilizzare in modo sicuro i modelli, creare servizi di mitigazione se necessario, condividere le best practice più recenti sulle nuove funzionalità di intelligenza artificiale, valutare le loro prestazioni e fornirle su larga scala. .

Quando una funzionalità di intelligenza artificiale mostra un grande impatto aziendale, i team di prodotto inizieranno immediatamente a spostare i propri sforzi verso il miglioramento dei risultati; è qui che i data scientist possono offrire approcci avanzati per migliorare le prestazioni poiché comprendono come funzionano questi modelli.

Per concludere, il ruolo della scienza dei dati nella democratizzazione dell’intelligenza artificiale è cruciale, poiché colma il divario tra la tecnologia dell’intelligenza artificiale e coloro che potrebbero non avere una vasta esperienza in materia di intelligenza artificiale. Attraverso la collaborazione tra data scientist e team di prodotto, possiamo sfruttare i punti di forza di entrambi i campi per creare soluzioni basate sull'intelligenza artificiale sicure, accessibili e precise che guidano l'innovazione e offrono esperienze utente eccezionali. Con i continui progressi e innovazioni, il futuro dell’intelligenza artificiale democratizzata racchiude un grande potenziale per il cambiamento trasformativo in tutti i settori.

*Se non diversamente specificato, tutte le immagini sono dell'autore